Tu sitio de WordPress ya tiene un archivo robots.txt y está tomando decisiones sobre lo que los rastreadores de motores de búsqueda pueden acceder, ya sea que lo hayas tocado alguna vez o no.
La mayoría de esas decisiones son inofensivas. Pero una sola regla mal elegida también puede alejar a los rastreadores de las URL que realmente quieres que descubran.
En esta guía, te mostraremos qué está haciendo tu archivo robots.txt en este momento y cómo editarlo sin tocar código.
Aquí tienes todo lo que cubriremos en esta guía:
¿Qué es un archivo Robots.txt?
Robots.txt es un archivo de texto plano que indica a los bots de los motores de búsqueda qué partes de tu sitio pueden rastrear.
El archivo se encuentra en el directorio raíz (la carpeta principal) de tu sitio web. El formato básico se ve así:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puedes agregar tantas reglas y sitemaps como necesites. Si no prohíbes una URL, los bots asumen que pueden rastrearla.
Tu sitio funciona bien sin un archivo robots.txt cuando comienzas un blog. Sin embargo, a medida que tu contenido crece, este archivo se vuelve más útil.
Los motores de búsqueda otorgan a cada sitio web un presupuesto de rastreo, que es la cantidad de páginas que rastrearán en un período de tiempo determinado. Al bloquear páginas poco importantes, ayudas a los bots a gastar ese presupuesto en el contenido que deseas en los resultados de búsqueda.
Esto es más importante para sitios grandes con miles de páginas.
Ten en cuenta que robots.txt ayuda a controlar el rastreo, no la indexación.
- Rastreo es cuando los bots de los motores de búsqueda (como Googlebot) visitan tu sitio web para descubrir su contenido.
- Indexación es cuando agregan ese contenido a su enorme base de datos de búsqueda para que pueda aparecer en los resultados de búsqueda.
Piénsalo como un bibliotecario que lee un libro nuevo (rastreo) y luego lo agrega al catálogo de la biblioteca (indexación).
En otras palabras, robots.txt tampoco es una buena manera de ocultar contenido, ya que una página prohibida aún puede aparecer en los resultados de búsqueda si otros sitios web enlazan a ella. Para mantener una página fuera de Google de manera confiable, usa una etiqueta meta 'noindex' en su lugar. Esto le dice a los motores de búsqueda que no incluyan la página en absoluto.
Ejemplos y mejores prácticas de Robots.txt
Para la mayoría de los sitios de WordPress, puedes mantener tu archivo robots.txt bastante simple. Aquí está la configuración básica que recomendamos:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aquí se explica qué hace cada regla:
Allow: /wp-content/uploads/permite a los motores de búsqueda rastrear tus imágenes y otros archivos subidos a tu biblioteca de medios de WordPress.Allow: /wp-admin/admin-ajax.phpmantiene accesible el controlador AJAX de WordPress. Los temas y plugins pueden usar este archivo para cargar o actualizar contenido sin refrescar la página.Disallow: /wp-admin/evita que los rastreadores accedan a tu área de administración de WordPress, que no contiene contenido que desees que aparezca en los resultados de búsqueda.Disallow: /readme.htmlevita que los rastreadores accedan al archivoreadme.htmlpredeterminado de WordPress. Este archivo no es útil para los motores de búsqueda, por lo que hay pocas razones para que lo rastreen.Disallow: /refer/evita que los rastreadores sigan enlaces de afiliados u otras URL de redirección que usan el prefijo/refer/. Si tu sitio usa un prefijo diferente para estos enlaces, reemplaza/refer/con el tuyo.Disallow: /?s=evita que los rastreadores soliciten las URL de búsqueda internas de WordPress. Estas páginas generalmente no son páginas de destino útiles para los motores de búsqueda y pueden crear muchas URL innecesarias para rastrear.Sitemaple dice a los motores de búsqueda dónde encontrar tus sitemaps XML. Esto les facilita descubrir las URL que deseas que rastreen.
Estos son los mismos tipos de reglas básicas que usamos en WPBeginner. Puedes ver nuestro archivo en vivo en wpbeginner.com/robots.txt. Nuestro archivo de producción contiene reglas adicionales para un sitio mucho más grande, pero los principios básicos son los mismos.
Ten en cuenta que usar el comodín * se aplica a todos los rastreadores.
Por ejemplo, esta regla impide que Googlebot rastree la carpeta /private/:
User-agent: Googlebot
Disallow: /private/
Los nombres comunes de agentes de usuario incluyen Googlebot (Google), Bingbot (Bing) y Baiduspider (Baidu).
Cómo crear un archivo Robots.txt en WordPress
Hay dos maneras de crear un archivo robots.txt en WordPress. Puedes elegir el método que mejor te funcione.
Método 1: Editar el archivo Robots.txt usando All in One SEO
La mayoría de los plugins SEO gratuitos para WordPress, como All in One SEO (AIOSEO), Yoast o Rank Math, te permiten personalizar tu archivo robots.txt directamente desde tu panel de WordPress.
Usamos AIOSEO en WPBeginner. La versión gratuita de AIOSEO te ayuda a validar tu regla de robots.txt mientras escribes, lo que te permite detectar errores de sintaxis antes de que se publique.
Una vez que el plugin esté activo, simplemente ve a All in One SEO » Herramientas en tu panel de WordPress. Accederás al Editor de Robots.txt. Activa el interruptor 'Habilitar Robots.txt Personalizado' para comenzar a editar.
El editor muestra las reglas predeterminadas que WordPress genera por sí mismo.
Ahora puedes agregar tus propias reglas. Ingresa un agente de usuario en el campo 'User Agent', o usa * para aplicar la regla a todos los bots.
Luego elige 'Allow' o 'Disallow' en la columna Directive, y escribe la ruta del archivo o carpeta en el campo 'Value'. Para agregar otra regla, haz clic en el botón 'Add Rule'.
Puedes revisar tu archivo finalizado en la 'Vista Previa Personalizada de Robots.txt' en la parte inferior de la pantalla. Muestra el archivo completo exactamente como lo verán los bots.
Cuando hayas terminado, haz clic en el botón 'Save Changes' para guardar tus reglas.
Método 2: Editar el Archivo Robots.txt Manualmente Usando FTP
Si prefieres editar tu archivo robots.txt directamente, sigue este método. Para editar el archivo, necesitarás usar un cliente FTP o el administrador de archivos en tu panel de hosting de WordPress.
Antes de editar nada, descarga una copia de seguridad de tu archivo robots.txt actual a tu computadora. De esa manera, podrás restaurarlo si algo sale mal.
Primero, conecta tu cliente FTP a tu sitio web de WordPress y busca el archivo robots.txt en la carpeta raíz de tu sitio.
Si no ves uno, tu sitio aún no tiene un archivo robots.txt. Puedes crearlo allí mismo.
Robots.txt es un archivo de texto plano. Puedes descargarlo, editarlo en cualquier editor de texto plano como Bloc de notas o TextEdit, y volver a subirlo a tu carpeta raíz.
Cómo probar tu archivo Robots.txt
Después de crear o editar tu archivo robots.txt, siempre revísalo en busca de errores. Un pequeño error tipográfico puede bloquear páginas importantes de los motores de búsqueda, y es posible que no te des cuenta durante semanas.
La forma más fácil de probar tu archivo robots.txt en busca de errores es con Google Search Console.
Primero, asegúrate de que tu sitio esté conectado a Google Search Console. Si no lo está, sigue nuestra guía sobre cómo agregar tu sitio de WordPress a Google Search Console.
Luego, ve al panel de Search Console y abre Configuración en el menú inferior izquierdo. Busca la sección 'Rastreo' y haz clic en 'Abrir informe' junto a 'robots.txt'.
Haz clic en la versión actual del archivo en la lista. El informe muestra el robots.txt más reciente que Google ha encontrado y resalta cualquier error de sintaxis o problema lógico que haya detectado.
Si acabas de actualizar tu archivo y los cambios no aparecen, dale un día y vuelve a revisarlo.
Preguntas frecuentes sobre Robots.txt en WordPress
Aquí están las preguntas más comunes que nuestros lectores nos hacen sobre la optimización del archivo robots.txt en WordPress.
¿1. El uso de robots.txt puede mejorar la seguridad de mi sitio?
No, robots.txt no es una medida de seguridad. El archivo es visible públicamente, por lo que en realidad no impide que nadie acceda a las URL que enumeras. Simplemente proporciona directivas para los rastreadores de motores de búsqueda que se comportan correctamente.
¿2. ¿Debo bloquear las páginas de categorías y etiquetas de WordPress en robots.txt?
No, no debes bloquear las páginas de categorías y etiquetas. Estas páginas de archivo contienen enlaces internos que los rastreadores siguen para llegar a tus publicaciones antiguas, por lo que bloquearlas elimina una ruta de descubrimiento para el contenido que sí deseas indexar.
¿3. ¿Cuál es la diferencia entre robots.txt y la etiqueta noindex?
Controlan cosas diferentes. Robots.txt controla si un rastreador puede visitar una URL en absoluto. La etiqueta noindex controla si los motores de búsqueda incluyen una página en los resultados de búsqueda, incluso si ya la han visitado.
Usa robots.txt para bloquear rastreadores de áreas como tu panel de administración, entorno de staging o directorios de plugins. Usa noindex para páginas que no te importa que Google rastree, como páginas de archivo filtradas o páginas de agradecimiento, que simplemente no quieres que aparezcan en los resultados de búsqueda.
Esperamos que este artículo te haya ayudado a aprender cómo optimizar tu archivo robots.txt de WordPress para SEO. También puedes consultar nuestra guía definitiva de SEO para WordPress y nuestras selecciones expertas de las mejores herramientas de SEO para WordPress para hacer crecer tu sitio web.
Si te gustó este artículo, suscríbete a nuestro Canal de YouTube para ver tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.
Dennis Muthomi
I have to admit, I use the AIOSEO plugin but have always ignored the “Enable Custom Robots.txt” option because I didn’t want to mess anything up.
But I have read this article and I’m convinced it’s worth taking the time to optimize my site’s robots.txt file.
Amit Banerjee
Si se hubiera proporcionado la plantilla completa de robots.txt, habría sido de ayuda.
Soporte de WPBeginner
Incluimos el robots.txt completo
Administrador
Michael
Creo que deberías modificar tu respuesta. Debería ser https en lugar de http. ¿Está bien desautorizar también los archivos de plugins?
Soporte de WPBeginner
Gracias por señalarlo, nuestra muestra se ha actualizado. Para desautorizar plugins, deberías consultar con el plugin específico para estar seguro.
Moinuddin Waheed
Gracias por esta publicación informativa sobre el archivo robots.txt.
No sabía que los sitios web debían mantener este archivo para tener control sobre los bots de Google y cómo deberían rastrear nuestras páginas y publicaciones.
Para los sitios web para principiantes que recién comienzan, ¿es necesario tener un archivo robots.txt o hay alguna forma como un plugin que pueda crear un archivo robots.txt para nuestro sitio web?
Soporte de WPBeginner
La mayoría de los plugins de SEO ayudan a configurar el robots.txt para un sitio nuevo para evitar que los bots rastreen secciones que no deberían.
Administrador
Jiří Vaněk
Gracias a este artículo, revisé el archivo robots.txt y agregué direcciones URL con sitemaps. Al mismo tiempo, tenía otras líneas problemáticas allí, que fueron reveladas por el validador. Hasta ahora no estaba familiarizado con los sitemaps en robots.txt. Gracias.
Soporte de WPBeginner
¡De nada, nos alegra que nuestra guía haya podido ayudar!
Administrador
Stéphane
Hola,
Gracias por esa publicación, queda más claro cómo usar el archivo robots.txt. En la mayoría de los sitios web que encuentras mientras buscas consejos sobre el archivo robots.txt, puedes ver que las siguientes carpetas están explícitamente excluidas del rastreo (para WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Realmente no entiendo las razones para excluir esas carpetas (¿hay alguna en realidad?). ¿Cuál sería tu opinión al respecto?
Soporte de WPBeginner
Principalmente es para evitar que cualquier cosa en esas carpetas aparezca como resultado cuando un usuario busca tu sitio. Como ese no es tu contenido, no es algo que la mayoría de la gente querría que apareciera en los resultados del sitio.
Administrador
zaid haris
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
GSC muestra el error de cobertura para “Disallow: /wp-admin/” ¿Esto es incorrecto?
Soporte de WPBeginner
Para la mayoría de los sitios, no quieres que nada de tu wp-admin aparezca como resultado de búsqueda, por lo que está bien y es esperado recibir el área de cobertura cuando le niegas a Google la capacidad de escanear tu wp-admin.
Administrador
Hansini
Estoy creando mi robots.txt manualmente como indicaste para mi sitio de WordPress.
Tengo una duda. cuando escribo User-Agent: * ¿no permitirá que otro robot de spam acceda a mi sitio?
¿Debería escribir User-Agent: * o User-Agent: Googlebot.?
Soporte de WPBeginner
La línea User-Agent establece las reglas que todos los robots deben seguir en tu sitio; si especificas un bot en particular en esa línea, estarías estableciendo reglas para ese bot específico y ninguno de los otros.
Administrador
Nishant
¿Qué deberíamos escribir para que Google indexe mi publicación?
Soporte de WPBeginner
Para que tu sitio aparezca en la lista, te recomendamos que consultes nuestro artículo a continuación:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Administrador
Sanjeev Pandey
¿deberíamos también desautorizar /wp-content/themes/ ?
Aparece en los resultados de búsqueda cuando ejecuto el comando site:abcdef.com en la búsqueda de Google
Soporte de WPBeginner
No deberías preocuparte por bloquear la carpeta de tus temas y, a medida que escribas contenido optimizado para SEO, ya no deberías ver los temas como resultado de búsqueda.
Administrador
Salem
HOLA, ¿Qué significa "Disallow: /readme.html & Disallow: /refer/"?
Soporte de WPBeginner
Eso significa que le estás diciendo a los motores de búsqueda que no revisen ningún enlace de referencia ni el archivo readme.html.
Administrador
sean
Hola, ¿cuáles son los pros y los contras de bloquear wp-content/uploads
Gracias
Soporte de WPBeginner
Si bloqueas tu carpeta de subidas, los motores de búsqueda normalmente no rastrearían tu contenido subido, como las imágenes.
Administrador
Piyush
gracias por resolver mi problema
Soporte de WPBeginner
De nada
Administrador
Ravi kumar
Señor, estoy muy confundido acerca de robot.txt, muchas veces envié el mapa del sitio en Blogger, pero después de 3 o 4 días aparece el mismo problema, ¿qué es exactamente robot.txt.. & cómo enviarlo, por favor guíeme?
Soporte de WPBeginner
Dependería de tu problema específico, quizás quieras echar un vistazo a nuestra página a continuación:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Administrador
Prem
Si no indexo una URL o página usando el archivo robots.txt, ¿google muestra algún error en la consola de búsqueda?
Soporte de WPBeginner
No, Google no listará la página, pero si la página está listada, no mostrará un error.
Administrador
Bharat
Hola
Tengo una pregunta
Recibí una advertencia de problema de cobertura de Google Search Console por "bloqueado por robots.txt"
/wp-admin/widgets.php
Mi pregunta es, ¿puedo permitir /wp-admin/widgets.php en robots.txt y es seguro?
Soporte de WPBeginner
Si quisieras, puedes, pero ese no es un archivo que Google necesite rastrear.
Administrador
Anthony
Hola, me pregunto si deberías permitir: /wp-admin/admin-ajax.php?
Soporte de WPBeginner
Normalmente, sí deberías.
Administrador
Jaira
¿Puedo saber por qué deberías permitir /wp-admin/admin-ajax.php?
Soporte de WPBeginner
Es utilizado por diferentes temas y plugins para que aparezcan correctamente para los motores de búsqueda.
Amila
¡Hola! Me gusta mucho este artículo y como soy principiante con todo esto del rastreo, me gustaría preguntar algo al respecto. Recientemente, Google rastreó e indexó uno de mis sitios web de una manera terrible, mostrando páginas en los resultados de búsqueda que están eliminadas del sitio web. El sitio web no tenía desanimado a los motores de búsqueda de indexar en la configuración de WordPress al principio, pero lo hizo más tarde después de que Google mostrara 3 páginas más en los resultados de búsqueda (esas páginas tampoco existen) y realmente no entiendo cómo pudo suceder con la opción "desanimar a los motores de búsqueda de indexar" activada. Entonces, ¿el método Yoast puede ser útil y solucionar mi sitio web para que Google indexe mi sitio web de la manera apropiada esta vez? ¡Gracias de antemano!
Soporte de WPBeginner
El plugin Yoast debería poder ayudar a asegurar que las páginas que tienes se indexen correctamente, existe la posibilidad de que antes de desanimar a los motores de búsqueda de rastrear tu sitio, tu página se haya almacenado en caché.
Administrador
Amila
Bueno, sí, y de todas las páginas, almacenó en caché las que ya no existen. De todos modos, como la página actual está en la configuración de "desanimar", ¿es mejor dejarla así por ahora o desmarcar la casilla y dejar que Google la rastree e indexe de nuevo con la ayuda de Yoast? ¡Gracias! ¡Con tus artículos, todo se volvió más fácil!
Soporte de WPBeginner
Querrás que Google vuelva a rastrear tu sitio una vez que esté configurado como deseas.
Pradhuman Kumar
Hola, me encantó el artículo, muy preciso y perfecto.
Solo una pequeña sugerencia, por favor actualiza la imagen del probador ROBOTS.txt, ya que la Consola de Google ha cambiado y sería genial si agregas el enlace para verificar el robots.txt desde Google.
Soporte de WPBeginner
Gracias por tus comentarios, nos aseguraremos de actualizar el artículo tan pronto como nos sea posible.
Administrador
Kamaljeet Singh
El archivo robots.txt de mi blog era:
User-Agent: *
crawl-delay: 10
Después de leer esta publicación, lo cambié a tu archivo robots.txt recomendado. ¿Está bien que haya eliminado crawl-delay?
Soporte de WPBeginner
Debería estar bien, crawl-delay le dice a los motores de búsqueda que reduzcan la velocidad con la que rastrean tu sitio.
Administrador
reena
Muy bien descrito sobre robot.text, estoy muy feliz
eres un muy buen escritor
Soporte de WPBeginner
Gracias, me alegra que te haya gustado nuestro artículo
Administrador
JJ
¿Qué es la página Disallow: /refer/ ? Obtengo un 404, ¿es este un archivo oculto de wp?
Personal editorial
Usamos /refer/ para redirigir a varios enlaces de afiliados en nuestro sitio web. No queremos que se indexen ya que solo son redirecciones y no contenido real.
Administrador
Sagar Arakh
Gracias por compartir. Esto fue realmente útil para mí para entender robots.txt
He actualizado mi robots.txt al ideal que sugeriste. ahora esperaré los resultados
Soporte de WPBeginner
De nada, nos alegra que estés dispuesto/a a usar nuestras recomendaciones
Administrador
Akash Gogoi
Artículo muy útil. Muchas gracias.
Soporte de WPBeginner
Me alegra que nuestro artículo haya sido útil
Administrador
Zingylancer
Gracias por compartir esta información útil sobre nosotros.
Soporte de WPBeginner
Nos alegra poder compartir esta información sobre el archivo robots.txt
Administrador
Jasper
gracias por actualizar la información para mí. Tu artículo fue bueno para el archivo Robot txt. Me dio una nueva información. gracias y mantenme actualizado con nuevas ideas.
Soporte de WPBeginner
Nos alegra que nuestra guía haya sido útil
Administrador
Imran
Gracias, agregué robots.txt en WordPress. Muy buen artículo
Soporte de WPBeginner
Gracias, nos alegra que nuestro artículo haya sido útil
Administrador
Steve
Gracias por esto – ¿cómo funciona en un WP Multisite?
Soporte de WPBeginner
Para un multisite, necesitarías tener un archivo robots.txt en la carpeta raíz de cada sitio.
Administrador
Pacifique Ndanyuzwe
Mi sitio de wordpress es nuevo y mi robot.txt por defecto es
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quiero que Google rastree e indexe mi contenido. ¿Está bien ese robots.txt?
Soporte de WPBeginner
Ciertamente puedes usar eso si quisieras
Administrador
Ritesh Seth
Gran artículo...
Estuve confundido durante muchos días sobre el archivo Robots.txt y los enlaces Disallow. He copiado las etiquetas para el archivo robots. Espero que esto resuelva el problema de mi sitio
Soporte de WPBeginner
Esperamos que nuestro artículo también te ayude
Administrador
Kurt
Los archivos en las capturas de pantalla de su carpeta principal se encuentran en realidad dentro de la carpeta public_html en mi carpeta principal.
No tenía una carpeta /refer bajo mi carpeta public_html.
No tenía archivos xml de publicaciones ni de páginas en ninguna parte de mi cuenta de WP.
Incluí una entrada en el archivo robots.txt que creé para prohibir el rastreo de mi sitio sandbox. No estoy seguro de que sea necesario, ya que ya seleccioné la opción en WP que indica a los rastreadores que no rastreen mi sitio sandbox, pero no creo que haga daño tener la entrada.
Soporte de WPBeginner
Algunos hosts cambian el nombre de public_html a home, por eso lo ves ahí. Querrás asegurarte de que Yoast esté activo para que los archivos XML estén disponibles. El método de este artículo es una precaución adicional para ayudar a evitar que se rastree tu sitio
Administrador
Ahmed
Gran artículo
Soporte de WPBeginner
Gracias
Administrador
ASHOK KUMAR JADON
Hola, qué buen artículo, resolviste mi problema. Así que muchas gracias
Soporte de WPBeginner
Nos alegra que nuestro artículo haya podido ayudar
Administrador
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este es mi código de robot.txt pero estoy confundido por qué mi /wp-admin está indexado. ¿Cómo evitar que se indexe?
Soporte de WPBeginner
Si se indexó previamente, es posible que necesites dar tiempo para que la caché del motor de búsqueda se limpie
Administrador
Ashish kumar
Este sitio web realmente me inspira a empezar un blog. Gracias a todo el equipo. Este sitio web, cada artículo tiene mucha información y explicación. Cuando tengo algún problema, primero visito este blog. Gracias
Soporte de WPBeginner
Me alegra que nuestros artículos puedan ser útiles
Administrador
Anna
Estoy intentando optimizar los robots para mi sitio web usando Yoast. Sin embargo, las herramientas en Yoast no tienen la opción de 'Editor de Archivos'.
Solo hay dos opciones
(i) Importar y Exportar
(ii) Editor Masivo
¿Podrían por favor aconsejarme cómo se puede abordar esto? ¿Podría ser que estoy en una edición gratuita de Yoast?
Soporte de WPBeginner
La versión gratuita de Yoast todavía tiene la opción; tu instalación podría estar impidiendo la edición de archivos, en cuyo caso probablemente necesitarías usar el método FTP.
Administrador
Emmanuel Husseni
Realmente encuentro útil este artículo porque realmente no sé mucho sobre cómo funciona robot.txt, pero ahora sí.
Por favor, ¿qué es lo que no entiendo es cómo encuentro el mejor formato de robot.txt para usar en mi sitio (quiero decir, uno que funcione en general)?
Noté que muchos blogs grandes que reviso y que se clasifican alto en los motores de búsqueda usan un formato diferente de robot.txt.
Estaría encantado de ver una respuesta tuya o de cualquiera que pueda ayudar.
Personal editorial
Tener un mapa del sitio y permitir las áreas que necesitan ser permitidas es la parte más importante. La parte de desautorizar variará según cada sitio. Compartimos una muestra en nuestra publicación de blog, y eso debería ser bueno para la mayoría de los sitios de WordPress.
Administrador
Soporte de WPBeginner
Hola Emmanuel,
Por favor, consulta la sección sobre el archivo ideal robots.txt. Depende de tus propios requisitos. La mayoría de los blogueros excluyen las carpetas de administración y complementos de WordPress de la rastreo.
Administrador
Emmanuel Husseni
Muchas gracias.
Ahora entiendo. Supongo que empezaré con el formato general por ahora.
jack
Artículo bien escrito, recomiendo a los usuarios que hagan un mapa del sitio antes de crear y habilitar su texto ROBOTS, esto ayudará a que su sitio se rastree más rápido y se indexe fácilmente.
Jack
Connie S Owens
Me gustaría evitar que los motores de búsqueda indexen mis archivos durante su rastreo.
Emmanuel Nonye
Muchas gracias, este artículo fue realmente útil.
Cherisa
Sigo recibiendo el mensaje de error a continuación en Google Webmaster. Básicamente estoy atascado. Algunas cosas que no me quedaron claras en este tutorial son: ¿dónde encuentro los archivos raíz de mi sitio?, ¿cómo determino si ya tengo un "robots.txt" y cómo lo edito?
Soporte de WPBeginner
Hola Cherisa,
La carpeta raíz de tu sitio es la que contiene carpetas como wp-admin, wp-includes, wp-content, etc. También contiene archivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Si no puedes ver un archivo robots.txt en esta carpeta, entonces no tienes uno. Puedes proceder y crear uno nuevo.
Administrador
Cherisa
Gracias por tu respuesta. He buscado por todas partes y no logro encontrar estos archivos raíz como los describes. ¿Hay algún directorio de ruta que pueda seguir para llegar a esta carpeta? ¿Como si estuviera en Configuración, etc.?
Devender
Tuve un tráfico web decente en mi sitio web. De repente cayó a cero en el mes de mayo. Hasta ahora he estado enfrentando el problema. Por favor, ayúdenme a recuperar mi sitio web.
Haris Aslam
Hola, gracias por esta información, pero tengo una pregunta.
Acabo de crear los archivos sitemap.xml y robots.txt, y se están rastreando bien. Pero, ¿cómo puedo crear "Product-Sitemap.xml"?
Hay una lista completa de productos en el archivo sitemap.xml. ¿Tengo que crear Product-sitemap.xml por separado?
¿y enviarlo a Google o Bing de nuevo?
¿Me puedes ayudar?
Gracias
Mahadi Hassan
Tengo un problema con la configuración del archivo robots.txt. Solo se muestra un robots.txt para todos los sitios web. Por favor, ayúdenme a mostrar un archivo robots.txt separado para todos los sitios web. Tengo todos los archivos robots.txt separados para cada sitio web individual. Pero solo se muestra un archivo robots.txt en el navegador para todos los sitios web.
Debu Majumdar
Por favor, explica por qué incluiste
Disallow: /refer/
en el ejemplo de principiante de Robots.txt. No entiendo las implicaciones de esta línea. ¿Es esto importante para un principiante? Has explicado las otras dos líneas bloqueadas.
Gracias.
Soporte de WPBeginner
Hola Debu,
Este ejemplo es del archivo robots.txt de WPBeginner. En WPBeginner usamos ThirstyAffiliates para administrar enlaces de afiliados y ofuscar URLs. Esas URLs tienen /refer/ en ellas, por eso las bloqueamos en nuestro archivo robots.txt.
Administrador
Evaristo
¿Cómo puedo poner todas las etiquetas/mydomain.Com en nofollow? En robots.txt para concentrar el Link Juice? Gracias.
harsh kumar
Hola,,estoy recibiendo un error en Yoast SEO con respecto al mapa del sitio..una vez que hago clic en arreglar,,,vuelve a aparecer..el HTML de mi sitio no se está cargando correctamente
Tom
Acabo de revisar mi cuenta de Google Webmaster Tools y usando la Search Console, he encontrado lo siguiente:
Página parcialmente cargada
No todos los recursos de la página pudieron cargarse. Esto puede afectar cómo Google ve y entiende tu página. Soluciona los problemas de disponibilidad de cualquier recurso que pueda afectar cómo Google entiende tu página.
Esto se debe a que todas las hojas de estilo CSS asociadas con los plugins están desautorizadas por el robots.txt predeterminado.
Entiendo buenas razones por las que no debería simplemente permitir esto, pero ¿cuál sería una alternativa, ya que sospecharía que los algoritmos de Google están penalizando el sitio por no verlos?
Suren
Hola,
Cada vez que busco mi sitio en Google, aparece este texto debajo del enlace: “No hay una descripción disponible para este resultado debido al robots.txt de este sitio”
¿Cómo puedo resolver este problema?
Saludos
Soporte de WPBeginner
Hola Suren,
Parece que alguien cambió accidentalmente la configuración de privacidad de tu sitio. Ve a la página Configuración » Lectura y desplázate hacia abajo hasta la sección ‘Visibilidad del motor de búsqueda’. Asegúrate de que la casilla junto a esté desmarcada.
Administrador
Divyesh
Hola
Como vi en la herramienta para webmasters, tengo un archivo robot.txt como el siguiente:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
¿Me avisas si está bien? ¿O debería usar otra cosa?
John Cester
Quiero saber, ¿es una buena idea bloquear (denegar) “/wp-content/plugins/” en robots.tx? Cada vez que elimino un plugin, aparece un error 404 en algunas páginas de ese plugin.