Tu sitio de WordPress ya tiene un archivo robots.txt y está tomando decisiones sobre lo que los rastreadores de motores de búsqueda pueden acceder, ya sea que lo hayas tocado alguna vez o no.
La mayoría de esas decisiones son inofensivas. Pero una sola regla mal elegida también puede alejar a los rastreadores de las URL que realmente quieres que descubran.
En esta guía, te mostraremos qué está haciendo tu archivo robots.txt en este momento y cómo editarlo sin tocar código.
Aquí tienes todo lo que cubriremos en esta guía:
¿Qué es un archivo Robots.txt?
Robots.txt es un archivo de texto plano que indica a los bots de los motores de búsqueda qué partes de tu sitio pueden rastrear.
El archivo se encuentra en el directorio raíz (la carpeta principal) de tu sitio web. El formato básico se ve así:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puedes agregar tantas reglas y sitemaps como necesites. Si no prohíbes una URL, los bots asumen que pueden rastrearla.
Tu sitio funciona bien sin un archivo robots.txt cuando comienzas un blog. Sin embargo, a medida que tu contenido crece, este archivo se vuelve más útil.
Los motores de búsqueda otorgan a cada sitio web un presupuesto de rastreo, que es la cantidad de páginas que rastrearán en un período de tiempo determinado. Al bloquear páginas poco importantes, ayudas a los bots a gastar ese presupuesto en el contenido que deseas en los resultados de búsqueda.
Esto es más importante para sitios grandes con miles de páginas.
Ten en cuenta que robots.txt ayuda a controlar el rastreo, no la indexación.
- Rastreo es cuando los bots de los motores de búsqueda (como Googlebot) visitan tu sitio web para descubrir su contenido.
- Indexación es cuando agregan ese contenido a su enorme base de datos de búsqueda para que pueda aparecer en los resultados de búsqueda.
Piénsalo como un bibliotecario que lee un libro nuevo (rastreo) y luego lo agrega al catálogo de la biblioteca (indexación).
En otras palabras, robots.txt tampoco es una buena manera de ocultar contenido, ya que una página prohibida aún puede aparecer en los resultados de búsqueda si otros sitios web enlazan a ella. Para mantener una página fuera de Google de manera confiable, usa una etiqueta meta 'noindex' en su lugar. Esto le dice a los motores de búsqueda que no incluyan la página en absoluto.
Ejemplos y mejores prácticas de Robots.txt
Para la mayoría de los sitios de WordPress, puedes mantener tu archivo robots.txt bastante simple. Aquí está la configuración básica que recomendamos:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aquí se explica qué hace cada regla:
Allow: /wp-content/uploads/permite a los motores de búsqueda rastrear tus imágenes y otros archivos subidos a tu biblioteca de medios de WordPress.Allow: /wp-admin/admin-ajax.phpmantiene accesible el controlador AJAX de WordPress. Los temas y plugins pueden usar este archivo para cargar o actualizar contenido sin refrescar la página.Disallow: /wp-admin/evita que los rastreadores accedan a tu área de administración de WordPress, que no contiene contenido que desees que aparezca en los resultados de búsqueda.Disallow: /readme.htmlevita que los rastreadores accedan al archivoreadme.htmlpredeterminado de WordPress. Este archivo no es útil para los motores de búsqueda, por lo que hay pocas razones para que lo rastreen.Disallow: /refer/evita que los rastreadores sigan enlaces de afiliados u otras URL de redirección que usan el prefijo/refer/. Si tu sitio usa un prefijo diferente para estos enlaces, reemplaza/refer/con el tuyo.Disallow: /?s=evita que los rastreadores soliciten las URL de búsqueda internas de WordPress. Estas páginas generalmente no son páginas de destino útiles para los motores de búsqueda y pueden crear muchas URL innecesarias para rastrear.Sitemaple dice a los motores de búsqueda dónde encontrar tus sitemaps XML. Esto les facilita descubrir las URL que deseas que rastreen.
Estos son los mismos tipos de reglas básicas que usamos en WPBeginner. Puedes ver nuestro archivo en vivo en wpbeginner.com/robots.txt. Nuestro archivo de producción contiene reglas adicionales para un sitio mucho más grande, pero los principios básicos son los mismos.
Ten en cuenta que usar el comodín * se aplica a todos los rastreadores.
Por ejemplo, esta regla impide que Googlebot rastree la carpeta /private/:
User-agent: Googlebot
Disallow: /private/
Los nombres comunes de agentes de usuario incluyen Googlebot (Google), Bingbot (Bing) y Baiduspider (Baidu).
Cómo crear un archivo Robots.txt en WordPress
Hay dos maneras de crear un archivo robots.txt en WordPress. Puedes elegir el método que mejor te funcione.
Método 1: Editar el archivo Robots.txt usando All in One SEO
La mayoría de los plugins SEO gratuitos para WordPress, como All in One SEO (AIOSEO), Yoast o Rank Math, te permiten personalizar tu archivo robots.txt directamente desde tu panel de WordPress.
Usamos AIOSEO en WPBeginner. La versión gratuita de AIOSEO te ayuda a validar tu regla de robots.txt mientras escribes, lo que te permite detectar errores de sintaxis antes de que se publique.
Una vez que el plugin esté activo, simplemente ve a All in One SEO » Herramientas en tu panel de WordPress. Accederás al Editor de Robots.txt. Activa el interruptor 'Habilitar Robots.txt Personalizado' para comenzar a editar.
El editor muestra las reglas predeterminadas que WordPress genera por sí mismo.
Ahora puedes agregar tus propias reglas. Ingresa un agente de usuario en el campo 'User Agent', o usa * para aplicar la regla a todos los bots.
Luego elige 'Allow' o 'Disallow' en la columna Directive, y escribe la ruta del archivo o carpeta en el campo 'Value'. Para agregar otra regla, haz clic en el botón 'Add Rule'.
Puedes revisar tu archivo finalizado en la 'Vista Previa Personalizada de Robots.txt' en la parte inferior de la pantalla. Muestra el archivo completo exactamente como lo verán los bots.
Cuando hayas terminado, haz clic en el botón 'Save Changes' para guardar tus reglas.
Método 2: Editar el Archivo Robots.txt Manualmente Usando FTP
Si prefieres editar tu archivo robots.txt directamente, sigue este método. Para editar el archivo, necesitarás usar un cliente FTP o el administrador de archivos en tu panel de hosting de WordPress.
Antes de editar nada, descarga una copia de seguridad de tu archivo robots.txt actual a tu computadora. De esa manera, podrás restaurarlo si algo sale mal.
Primero, conecta tu cliente FTP a tu sitio web de WordPress y busca el archivo robots.txt en la carpeta raíz de tu sitio.
Si no ves uno, tu sitio aún no tiene un archivo robots.txt. Puedes crearlo allí mismo.
Robots.txt es un archivo de texto plano. Puedes descargarlo, editarlo en cualquier editor de texto plano como Bloc de notas o TextEdit, y volver a subirlo a tu carpeta raíz.
Cómo probar tu archivo Robots.txt
Después de crear o editar tu archivo robots.txt, siempre revísalo en busca de errores. Un pequeño error tipográfico puede bloquear páginas importantes de los motores de búsqueda, y es posible que no te des cuenta durante semanas.
La forma más fácil de probar tu archivo robots.txt en busca de errores es con Google Search Console.
Primero, asegúrate de que tu sitio esté conectado a Google Search Console. Si no lo está, sigue nuestra guía sobre cómo agregar tu sitio de WordPress a Google Search Console.
Luego, ve al panel de Search Console y abre Configuración en el menú inferior izquierdo. Busca la sección 'Rastreo' y haz clic en 'Abrir informe' junto a 'robots.txt'.
Haz clic en la versión actual del archivo en la lista. El informe muestra el robots.txt más reciente que Google ha encontrado y resalta cualquier error de sintaxis o problema lógico que haya detectado.
Si acabas de actualizar tu archivo y los cambios no aparecen, dale un día y vuelve a revisarlo.
Preguntas frecuentes sobre Robots.txt en WordPress
Aquí están las preguntas más comunes que nuestros lectores nos hacen sobre la optimización del archivo robots.txt en WordPress.
¿1. El uso de robots.txt puede mejorar la seguridad de mi sitio?
No, robots.txt no es una medida de seguridad. El archivo es visible públicamente, por lo que en realidad no impide que nadie acceda a las URL que enumeras. Simplemente proporciona directivas para los rastreadores de motores de búsqueda que se comportan correctamente.
¿2. ¿Debo bloquear las páginas de categorías y etiquetas de WordPress en robots.txt?
No, no debes bloquear las páginas de categorías y etiquetas. Estas páginas de archivo contienen enlaces internos que los rastreadores siguen para llegar a tus publicaciones antiguas, por lo que bloquearlas elimina una ruta de descubrimiento para el contenido que sí deseas indexar.
¿3. ¿Cuál es la diferencia entre robots.txt y la etiqueta noindex?
Controlan cosas diferentes. Robots.txt controla si un rastreador puede visitar una URL en absoluto. La etiqueta noindex controla si los motores de búsqueda incluyen una página en los resultados de búsqueda, incluso si ya la han visitado.
Usa robots.txt para bloquear rastreadores de áreas como tu panel de administración, entorno de staging o directorios de plugins. Usa noindex para páginas que no te importa que Google rastree, como páginas de archivo filtradas o páginas de agradecimiento, que simplemente no quieres que aparezcan en los resultados de búsqueda.
Esperamos que este artículo te haya ayudado a aprender cómo optimizar tu archivo robots.txt de WordPress para SEO. También puedes consultar nuestra guía definitiva de SEO para WordPress y nuestras selecciones expertas de las mejores herramientas de SEO para WordPress para hacer crecer tu sitio web.
Si te gustó este artículo, suscríbete a nuestro Canal de YouTube para ver tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.
Steve
Gracias por esto – ¿cómo funciona en un WP Multisite?
Soporte de WPBeginner
Para un multisite, necesitarías tener un archivo robots.txt en la carpeta raíz de cada sitio.
Administrador
Pacifique Ndanyuzwe
Mi sitio de wordpress es nuevo y mi robot.txt por defecto es
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quiero que Google rastree e indexe mi contenido. ¿Está bien ese robots.txt?
Soporte de WPBeginner
Ciertamente puedes usar eso si quisieras
Administrador
Ritesh Seth
Gran artículo...
Estuve confundido durante muchos días sobre el archivo Robots.txt y los enlaces Disallow. He copiado las etiquetas para el archivo robots. Espero que esto resuelva el problema de mi sitio
Soporte de WPBeginner
Esperamos que nuestro artículo también te ayude
Administrador
Kurt
Los archivos en las capturas de pantalla de su carpeta principal se encuentran en realidad dentro de la carpeta public_html en mi carpeta principal.
No tenía una carpeta /refer bajo mi carpeta public_html.
No tenía archivos xml de publicaciones ni de páginas en ninguna parte de mi cuenta de WP.
Incluí una entrada en el archivo robots.txt que creé para prohibir el rastreo de mi sitio sandbox. No estoy seguro de que sea necesario, ya que ya seleccioné la opción en WP que indica a los rastreadores que no rastreen mi sitio sandbox, pero no creo que haga daño tener la entrada.
Soporte de WPBeginner
Algunos hosts cambian el nombre de public_html a home, por eso lo ves ahí. Querrás asegurarte de que Yoast esté activo para que los archivos XML estén disponibles. El método de este artículo es una precaución adicional para ayudar a evitar que se rastree tu sitio
Administrador
Ahmed
Gran artículo
Soporte de WPBeginner
Gracias
Administrador
ASHOK KUMAR JADON
Hola, qué buen artículo, resolviste mi problema. Así que muchas gracias
Soporte de WPBeginner
Nos alegra que nuestro artículo haya podido ayudar
Administrador
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este es mi código de robot.txt pero estoy confundido por qué mi /wp-admin está indexado. ¿Cómo evitar que se indexe?
Soporte de WPBeginner
Si se indexó previamente, es posible que necesites dar tiempo para que la caché del motor de búsqueda se limpie
Administrador
Ashish kumar
Este sitio web realmente me inspira a empezar un blog. Gracias a todo el equipo. Este sitio web, cada artículo tiene mucha información y explicación. Cuando tengo algún problema, primero visito este blog. Gracias
Soporte de WPBeginner
Me alegra que nuestros artículos puedan ser útiles
Administrador
Anna
Estoy intentando optimizar los robots para mi sitio web usando Yoast. Sin embargo, las herramientas en Yoast no tienen la opción de 'Editor de Archivos'.
Solo hay dos opciones
(i) Importar y Exportar
(ii) Editor Masivo
¿Podrían por favor aconsejarme cómo se puede abordar esto? ¿Podría ser que estoy en una edición gratuita de Yoast?
Soporte de WPBeginner
La versión gratuita de Yoast todavía tiene la opción; tu instalación podría estar impidiendo la edición de archivos, en cuyo caso probablemente necesitarías usar el método FTP.
Administrador
Emmanuel Husseni
Realmente encuentro útil este artículo porque realmente no sé mucho sobre cómo funciona robot.txt, pero ahora sí.
Por favor, ¿qué es lo que no entiendo es cómo encuentro el mejor formato de robot.txt para usar en mi sitio (quiero decir, uno que funcione en general)?
Noté que muchos blogs grandes que reviso y que se clasifican alto en los motores de búsqueda usan un formato diferente de robot.txt.
Estaría encantado de ver una respuesta tuya o de cualquiera que pueda ayudar.
Personal editorial
Tener un mapa del sitio y permitir las áreas que necesitan ser permitidas es la parte más importante. La parte de desautorizar variará según cada sitio. Compartimos una muestra en nuestra publicación de blog, y eso debería ser bueno para la mayoría de los sitios de WordPress.
Administrador
Soporte de WPBeginner
Hola Emmanuel,
Por favor, consulta la sección sobre el archivo ideal robots.txt. Depende de tus propios requisitos. La mayoría de los blogueros excluyen las carpetas de administración y complementos de WordPress de la rastreo.
Administrador
Emmanuel Husseni
Muchas gracias.
Ahora entiendo. Supongo que empezaré con el formato general por ahora.
jack
Artículo bien escrito, recomiendo a los usuarios que hagan un mapa del sitio antes de crear y habilitar su texto ROBOTS, esto ayudará a que su sitio se rastree más rápido y se indexe fácilmente.
Jack
Connie S Owens
Me gustaría evitar que los motores de búsqueda indexen mis archivos durante su rastreo.
Emmanuel Nonye
Muchas gracias, este artículo fue realmente útil.
Cherisa
Sigo recibiendo el mensaje de error a continuación en Google Webmaster. Básicamente estoy atascado. Algunas cosas que no me quedaron claras en este tutorial son: ¿dónde encuentro los archivos raíz de mi sitio?, ¿cómo determino si ya tengo un "robots.txt" y cómo lo edito?
Soporte de WPBeginner
Hola Cherisa,
La carpeta raíz de tu sitio es la que contiene carpetas como wp-admin, wp-includes, wp-content, etc. También contiene archivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Si no puedes ver un archivo robots.txt en esta carpeta, entonces no tienes uno. Puedes proceder y crear uno nuevo.
Administrador
Cherisa
Gracias por tu respuesta. He buscado por todas partes y no logro encontrar estos archivos raíz como los describes. ¿Hay algún directorio de ruta que pueda seguir para llegar a esta carpeta? ¿Como si estuviera en Configuración, etc.?
Devender
Tuve un tráfico web decente en mi sitio web. De repente cayó a cero en el mes de mayo. Hasta ahora he estado enfrentando el problema. Por favor, ayúdenme a recuperar mi sitio web.
Haris Aslam
Hola, gracias por esta información, pero tengo una pregunta.
Acabo de crear los archivos sitemap.xml y robots.txt, y se están rastreando bien. Pero, ¿cómo puedo crear "Product-Sitemap.xml"?
Hay una lista completa de productos en el archivo sitemap.xml. ¿Tengo que crear Product-sitemap.xml por separado?
¿y enviarlo a Google o Bing de nuevo?
¿Me puedes ayudar?
Gracias
Mahadi Hassan
Tengo un problema con la configuración del archivo robots.txt. Solo se muestra un robots.txt para todos los sitios web. Por favor, ayúdenme a mostrar un archivo robots.txt separado para todos los sitios web. Tengo todos los archivos robots.txt separados para cada sitio web individual. Pero solo se muestra un archivo robots.txt en el navegador para todos los sitios web.
Debu Majumdar
Por favor, explica por qué incluiste
Disallow: /refer/
en el ejemplo de principiante de Robots.txt. No entiendo las implicaciones de esta línea. ¿Es esto importante para un principiante? Has explicado las otras dos líneas bloqueadas.
Gracias.
Soporte de WPBeginner
Hola Debu,
Este ejemplo es del archivo robots.txt de WPBeginner. En WPBeginner usamos ThirstyAffiliates para administrar enlaces de afiliados y ofuscar URLs. Esas URLs tienen /refer/ en ellas, por eso las bloqueamos en nuestro archivo robots.txt.
Administrador
Evaristo
¿Cómo puedo poner todas las etiquetas/mydomain.Com en nofollow? En robots.txt para concentrar el Link Juice? Gracias.
harsh kumar
Hola,,estoy recibiendo un error en Yoast SEO con respecto al mapa del sitio..una vez que hago clic en arreglar,,,vuelve a aparecer..el HTML de mi sitio no se está cargando correctamente
Tom
Acabo de revisar mi cuenta de Google Webmaster Tools y usando la Search Console, he encontrado lo siguiente:
Página parcialmente cargada
No todos los recursos de la página pudieron cargarse. Esto puede afectar cómo Google ve y entiende tu página. Soluciona los problemas de disponibilidad de cualquier recurso que pueda afectar cómo Google entiende tu página.
Esto se debe a que todas las hojas de estilo CSS asociadas con los plugins están desautorizadas por el robots.txt predeterminado.
Entiendo buenas razones por las que no debería simplemente permitir esto, pero ¿cuál sería una alternativa, ya que sospecharía que los algoritmos de Google están penalizando el sitio por no verlos?
Suren
Hola,
Cada vez que busco mi sitio en Google, aparece este texto debajo del enlace: “No hay una descripción disponible para este resultado debido al robots.txt de este sitio”
¿Cómo puedo resolver este problema?
Saludos
Soporte de WPBeginner
Hola Suren,
Parece que alguien cambió accidentalmente la configuración de privacidad de tu sitio. Ve a la página Configuración » Lectura y desplázate hacia abajo hasta la sección ‘Visibilidad del motor de búsqueda’. Asegúrate de que la casilla junto a esté desmarcada.
Administrador
Divyesh
Hola
Como vi en la herramienta para webmasters, tengo un archivo robot.txt como el siguiente:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
¿Me avisas si está bien? ¿O debería usar otra cosa?
John Cester
Quiero saber, ¿es una buena idea bloquear (denegar) “/wp-content/plugins/” en robots.tx? Cada vez que elimino un plugin, aparece un error 404 en algunas páginas de ese plugin.
Himanshu singh
Me encantó esta explicación. Como principiante, estaba muy confundido sobre el archivo robot.txt y sus usos. Pero ahora sé cuál es su propósito.
rahul
en algunos archivos robot.txt se ha desautorizado index.php. ¿Puedes explicar por qué? ¿Es una buena práctica?
Waleed Barakat
Gracias por pasar por esta valiosa información.
Awais Ahmed
¿Me pueden decir por qué está sucediendo esto en la herramienta para webmasters:
Red no alcanzable: robots.txt no alcanzable. No pudimos rastrear su mapa del sitio porque encontramos un archivo robots.txt en la raíz de su sitio pero no pudimos descargarlo. Asegúrese de que sea accesible o elimínelo por completo.
el archivo robots.txt existe pero aún así
Dozza
Interesante actualización del equipo de Yoast sobre esto en
Cita: “Las antiguas mejores prácticas de tener un robots.txt que bloquea el acceso a su directorio wp-includes y a su directorio de plugins ya no son válidas”.
natveimaging
Permitir: /wp-content/uploads/
¿No debería ser esto?
Disallow: /wp-content/uploads/
Porque eres consciente de que Google indexará todas tus páginas de subidas como URLs públicas, ¿verdad? Y luego recibirás errores por la página en sí. ¿Hay algo que me esté perdiendo aquí?
nativeimaging
En general, son las páginas reales las que Google rastrea para generar mapas de imágenes, NO las carpetas de subidas. Entonces tendrías un problema con todos los tamaños de imagen más pequeños y otras imágenes que son para la interfaz de usuario también se indexarán.
Esta parece ser la mejor opción:
Disallow: /wp-content/uploads/
Si estoy equivocado, por favor explícamelo para que pueda entender tu punto de vista.
Jason
Mi URL de blog no se indexa, ¿necesito cambiar mi robots.txt?
Estoy usando este robots.txt
iyan
cómo crear un archivo robots.txt que SOLO permita indexar páginas y publicaciones.. gracias
Simaran Singh
No estoy seguro de cuál es el problema, pero mi robots.txt tiene dos versiones.
Una en http://www.example.com/robots.txt y la segunda en example.com/robots.txt
¡Alguien, por favor, ayude! ¿Saben cuál podría ser la causa y cómo corregirlo?
Soporte de WPBeginner
Lo más probable es que tu proveedor de hosting permita que tu sitio sea accesible tanto con URLs www como no www. Intenta cambiar robots.txt usando un cliente FTP. Luego examínalo desde ambas URLs; si puedes ver tus cambios en ambas URLs, entonces significa que es el mismo archivo.
Administrador
Simaran Singh
Gracias por la rápida respuesta. Ya lo he hecho, pero no puedo ver ningún cambio. ¿Hay alguna otra forma de resolverlo?
Martin conde
El post de blog de Yoast sobre este tema estaba justo encima del tuyo en mi búsqueda, así que, por supuesto, los revisé ambos. Se contradicen un poco. Por ejemplo, Yoast dijo que no permitir directorios de plugins y otros podría obstaculizar a los rastreadores de Google al buscar tu sitio, ya que los plugins pueden generar CSS o JS. También mencionó (y por mi propia experiencia), Yoast no agrega nada relacionado con el sitemap a robots.txt, sino que lo genera para que puedas agregarlo a tu consola de búsqueda. Aquí está el enlace a su post, tal vez puedas volver a verificar porque es muy difícil elegir a quién creerle
MM Nauman
Como no soy bueno creando este archivo Robotstxt, ¿puedo usar tu archivo Robots.txt cambiando los parámetros como la URL y el sitemap de mi sitio? ¿Es bueno? ¿O debería crear uno diferente?
Mohit Chauhan
Hola,
Hoy recibí este correo de Google “Googlebot no puede acceder a los archivos CSS y JS”… ¿cuál puede ser la solución?
Gracias
Parmod
Déjame adivinar… Estás usando servicios de CDN para importar archivos CSS y JS.
o
Es posible que hayas escrito una sintaxis incorrecta en estos archivos.
Rahul
Tengo una pregunta sobre cómo agregar Sitemaps. ¿Cómo puedo agregar el Sitemap de Yahoo y Bing al archivo Robots y al directorio de WordPress?
Gerbrand Petersen
Gracias por el esquema detallado sobre el uso del archivo robots. ¿Alguien sabe si Yahoo también está usando este robots.txt y si obedece las reglas mencionadas en el archivo? Pregunto esto porque tengo un "Disallow" para una página específica en mi archivo, pero sí recibo tráfico de Yahoo en esa página. Nada de Google, como debería ser. Gracias de antemano.
Erwin
corrección...
"Si estás usando el plugin Yoast’s WordPress SEO o algún otro plugin para generar tu mapa del sitio XML, entonces tu plugin intentará agregar automáticamente las líneas relacionadas con tu mapa del sitio en el archivo robots.txt."
No es cierto. WordPress SEO no agrega el mapa del sitio a robots.txt
"Siempre he sentido que enlazar tu mapa del sitio XML desde tu robots.txt es un poco absurdo. Deberías agregarlos manualmente a tus Herramientas para Webmasters de Google y Bing y asegurarte de ver sus comentarios sobre tu mapa del sitio XML. Esta es la razón por la que nuestro plugin WordPress SEO no lo agrega a tu robots.txt."
https://yoast.com/wordpress-robots-txt-example/
También es más recomendable no desautorizar el directorio wp-plugins (razones ver la publicación de Yoast)
Y personalmente me gusta simplemente remover el archivo readme.txt…
hyma
Lo entendí como el archivo robots.txt y el uso del archivo robots. ¿Qué es el mapa del sitio? ¿Cómo creo un mapa del sitio para mi sitio?
Rick R. Duncan
Después de leer la documentación de Google, tengo la impresión de que la directiva a usar en el archivo robots.txt es disallow, que solo le dice a los bots qué pueden y qué no pueden rastrear. No les dice qué se puede y qué no se puede indexar. Necesitas usar la metaetiqueta robots noindex para que una página no sea indexada.
Nitin
Artículo realmente bueno para un archivo robots.txt optimizado para SEO. Pero necesito que me des un tutorial sobre cómo subir el archivo robots.txt al servidor. Ya que, siendo principiante, parece ser un problema drástico subir ese archivo.
Por cierto, gracias por compartir información tan beneficiosa.
-Nitin
Parmod
Súbelo a tu servidor/public_hmtl/(Tu-nombre-de-sitio)… en esta carpeta
Jenny
¿Cuál es la mejor manera de agregar código a HTTacess para bloquear múltiples referidos de bots de spam por su URL y dirección IP si no se proporciona URL?
Sé que si cometes un error de sintaxis al editar httacess, puede dejar tu sitio fuera de línea. Soy un novato y necesito bloquear estas molestas URL múltiples de Rusia, China, Ucrania, etc.
Muchas gracias
Hazel Andrews
Gracias por esos consejos… ¡archivos robot txt modificados! ¡yay!
Rahat
¿Por qué tengo que agregar Allow: !!!
Si solo menciono lo que tengo que Disallow, eso es suficiente. No tengo que escribir código para Allow porque Googlebot o Bingbot rastrearán todo lo demás automáticamente.
Entonces, ¿por qué debería usar Allow de nuevo?
Connor Rickett
Dado que la ausencia del archivo Robots.txt no impide que el sitio sea rastreado, me da curiosidad: ¿Existe algún dato concreto sobre cuánto mejora el rendimiento SEO tener el archivo?
Hice una búsqueda rápida en Google y no vi ningún tipo de dato cuantitativo al respecto. Hay como medio millón de artículos que dicen: “¡Oye, esto mejora el SEO!”, pero realmente me gustaría saber de qué estamos hablando aquí, incluso en términos generales.
¿Es un aumento del 5%? ¿50? ¿500?
Soporte de WPBeginner
Los motores de búsqueda no comparten este tipo de datos. Si bien no tener un archivo robots.txt no impide que los motores de búsqueda rastreen o indexen un sitio web. Sin embargo, es una práctica recomendada.
Administrador
Connor Rickett
¡Gracias por tomarte el tiempo de responderme, lo aprecio!
JD Myers
Buen momento para esto. Estaba tratando de encontrar esta información justo ayer.
La razón por la que lo estaba buscando es que las herramientas de Google Webmaster me decían que no podían rastrear mi sitio correctamente porque estaba bloqueando varios recursos necesarios para la correcta visualización de la página.
Estos recursos incluían los que se encuentran en /wp-content/plugins/
Después de permitir esta carpeta, la advertencia desapareció.
¿Alguna idea sobre esto?
Soporte de WPBeginner
Puedes ignorar esas advertencias de forma segura. Es solo una advertencia si realmente tuvieras contenido allí que quisieras que se indexara. A veces, los usuarios tienen restringidos los bots de búsqueda y se han olvidado de ello. Estas advertencias son útiles en esas situaciones.
Administrador
Chetan jadhav
Tengo una pregunta, mucha gente usa un sitemap estático, y sabes que tienen un sitio de WordPress. ¿Deberíamos usar un sitemap estático o uno generado por WordPress?
Wilton Calderon
Genial, me gusta la forma en que lo tiene Wpbeginner, y con ese ranking en Alexa, me parece una de las mejores formas de usar robots.txt.
Brigitte Burke
¿Qué significa mi archivo robots.txt si se ve así?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Personal editorial
Simplemente dice que los motores de búsqueda no deben indexar tu carpeta wp-admin, tu carpeta wp-includes y el archivo xml-rpc. A veces, desautorizar /wp-includes/ puede bloquear ciertos scripts para los motores de búsqueda, especialmente si tu sitio está utilizando esos scripts. Esto puede perjudicar tu SEO.
Lo mejor que puedes hacer es ir a Google Webmaster Tools y obtener tu sitio web como un bot allí. Si todo se carga bien, entonces no tienes de qué preocuparte. Si dice que los scripts están bloqueados, entonces es posible que desees eliminar la línea wp-includes.
Administrador
hercules
No veo lógica en tu idea de tener un script dentro del directorio de includes que pueda ser utilizado por un crawn / robot .. y otra, si hay un caso aislado, es mejor después especificar que el wordpress por defecto permite este archivo que te imaginas que los motores de búsqueda usan sus scripts! después de todo, ¡wordpress ciertamente no tiene por defecto un robots.txt anti motores de búsqueda!!!!