Tu sitio de WordPress ya tiene un archivo robots.txt y está tomando decisiones sobre lo que los rastreadores de motores de búsqueda pueden acceder, ya sea que lo hayas tocado alguna vez o no.
La mayoría de esas decisiones son inofensivas. Pero una sola regla mal elegida también puede alejar a los rastreadores de las URL que realmente quieres que descubran.
En esta guía, te mostraremos qué está haciendo tu archivo robots.txt en este momento y cómo editarlo sin tocar código.
Aquí tienes todo lo que cubriremos en esta guía:
¿Qué es un archivo Robots.txt?
Robots.txt es un archivo de texto plano que indica a los bots de los motores de búsqueda qué partes de tu sitio pueden rastrear.
El archivo se encuentra en el directorio raíz (la carpeta principal) de tu sitio web. El formato básico se ve así:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puedes agregar tantas reglas y sitemaps como necesites. Si no prohíbes una URL, los bots asumen que pueden rastrearla.
Tu sitio funciona bien sin un archivo robots.txt cuando comienzas un blog. Sin embargo, a medida que tu contenido crece, este archivo se vuelve más útil.
Los motores de búsqueda otorgan a cada sitio web un presupuesto de rastreo, que es la cantidad de páginas que rastrearán en un período de tiempo determinado. Al bloquear páginas poco importantes, ayudas a los bots a gastar ese presupuesto en el contenido que deseas en los resultados de búsqueda.
Esto es más importante para sitios grandes con miles de páginas.
Ten en cuenta que robots.txt ayuda a controlar el rastreo, no la indexación.
- Rastreo es cuando los bots de los motores de búsqueda (como Googlebot) visitan tu sitio web para descubrir su contenido.
- Indexación es cuando agregan ese contenido a su enorme base de datos de búsqueda para que pueda aparecer en los resultados de búsqueda.
Piénsalo como un bibliotecario que lee un libro nuevo (rastreo) y luego lo agrega al catálogo de la biblioteca (indexación).
En otras palabras, robots.txt tampoco es una buena manera de ocultar contenido, ya que una página prohibida aún puede aparecer en los resultados de búsqueda si otros sitios web enlazan a ella. Para mantener una página fuera de Google de manera confiable, usa una etiqueta meta 'noindex' en su lugar. Esto le dice a los motores de búsqueda que no incluyan la página en absoluto.
Ejemplos y mejores prácticas de Robots.txt
Para la mayoría de los sitios de WordPress, puedes mantener tu archivo robots.txt bastante simple. Aquí está la configuración básica que recomendamos:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aquí se explica qué hace cada regla:
Allow: /wp-content/uploads/permite a los motores de búsqueda rastrear tus imágenes y otros archivos subidos a tu biblioteca de medios de WordPress.Allow: /wp-admin/admin-ajax.phpmantiene accesible el controlador AJAX de WordPress. Los temas y plugins pueden usar este archivo para cargar o actualizar contenido sin refrescar la página.Disallow: /wp-admin/evita que los rastreadores accedan a tu área de administración de WordPress, que no contiene contenido que desees que aparezca en los resultados de búsqueda.Disallow: /readme.htmlevita que los rastreadores accedan al archivoreadme.htmlpredeterminado de WordPress. Este archivo no es útil para los motores de búsqueda, por lo que hay pocas razones para que lo rastreen.Disallow: /refer/evita que los rastreadores sigan enlaces de afiliados u otras URL de redirección que usan el prefijo/refer/. Si tu sitio usa un prefijo diferente para estos enlaces, reemplaza/refer/con el tuyo.Disallow: /?s=evita que los rastreadores soliciten las URL de búsqueda internas de WordPress. Estas páginas generalmente no son páginas de destino útiles para los motores de búsqueda y pueden crear muchas URL innecesarias para rastrear.Sitemaple dice a los motores de búsqueda dónde encontrar tus sitemaps XML. Esto les facilita descubrir las URL que deseas que rastreen.
Estos son los mismos tipos de reglas básicas que usamos en WPBeginner. Puedes ver nuestro archivo en vivo en wpbeginner.com/robots.txt. Nuestro archivo de producción contiene reglas adicionales para un sitio mucho más grande, pero los principios básicos son los mismos.
Ten en cuenta que usar el comodín * se aplica a todos los rastreadores.
Por ejemplo, esta regla impide que Googlebot rastree la carpeta /private/:
User-agent: Googlebot
Disallow: /private/
Los nombres comunes de agentes de usuario incluyen Googlebot (Google), Bingbot (Bing) y Baiduspider (Baidu).
Cómo crear un archivo Robots.txt en WordPress
Hay dos maneras de crear un archivo robots.txt en WordPress. Puedes elegir el método que mejor te funcione.
Método 1: Editar el archivo Robots.txt usando All in One SEO
La mayoría de los plugins SEO gratuitos para WordPress, como All in One SEO (AIOSEO), Yoast o Rank Math, te permiten personalizar tu archivo robots.txt directamente desde tu panel de WordPress.
Usamos AIOSEO en WPBeginner. La versión gratuita de AIOSEO te ayuda a validar tu regla de robots.txt mientras escribes, lo que te permite detectar errores de sintaxis antes de que se publique.
Una vez que el plugin esté activo, simplemente ve a All in One SEO » Herramientas en tu panel de WordPress. Accederás al Editor de Robots.txt. Activa el interruptor 'Habilitar Robots.txt Personalizado' para comenzar a editar.
El editor muestra las reglas predeterminadas que WordPress genera por sí mismo.
Ahora puedes agregar tus propias reglas. Ingresa un agente de usuario en el campo 'User Agent', o usa * para aplicar la regla a todos los bots.
Luego elige 'Allow' o 'Disallow' en la columna Directive, y escribe la ruta del archivo o carpeta en el campo 'Value'. Para agregar otra regla, haz clic en el botón 'Add Rule'.
Puedes revisar tu archivo finalizado en la 'Vista Previa Personalizada de Robots.txt' en la parte inferior de la pantalla. Muestra el archivo completo exactamente como lo verán los bots.
Cuando hayas terminado, haz clic en el botón 'Save Changes' para guardar tus reglas.
Método 2: Editar el Archivo Robots.txt Manualmente Usando FTP
Si prefieres editar tu archivo robots.txt directamente, sigue este método. Para editar el archivo, necesitarás usar un cliente FTP o el administrador de archivos en tu panel de hosting de WordPress.
Antes de editar nada, descarga una copia de seguridad de tu archivo robots.txt actual a tu computadora. De esa manera, podrás restaurarlo si algo sale mal.
Primero, conecta tu cliente FTP a tu sitio web de WordPress y busca el archivo robots.txt en la carpeta raíz de tu sitio.
Si no ves uno, tu sitio aún no tiene un archivo robots.txt. Puedes crearlo allí mismo.
Robots.txt es un archivo de texto plano. Puedes descargarlo, editarlo en cualquier editor de texto plano como Bloc de notas o TextEdit, y volver a subirlo a tu carpeta raíz.
Cómo probar tu archivo Robots.txt
Después de crear o editar tu archivo robots.txt, siempre revísalo en busca de errores. Un pequeño error tipográfico puede bloquear páginas importantes de los motores de búsqueda, y es posible que no te des cuenta durante semanas.
La forma más fácil de probar tu archivo robots.txt en busca de errores es con Google Search Console.
Primero, asegúrate de que tu sitio esté conectado a Google Search Console. Si no lo está, sigue nuestra guía sobre cómo agregar tu sitio de WordPress a Google Search Console.
Luego, ve al panel de Search Console y abre Configuración en el menú inferior izquierdo. Busca la sección 'Rastreo' y haz clic en 'Abrir informe' junto a 'robots.txt'.
Haz clic en la versión actual del archivo en la lista. El informe muestra el robots.txt más reciente que Google ha encontrado y resalta cualquier error de sintaxis o problema lógico que haya detectado.
Si acabas de actualizar tu archivo y los cambios no aparecen, dale un día y vuelve a revisarlo.
Preguntas frecuentes sobre Robots.txt en WordPress
Aquí están las preguntas más comunes que nuestros lectores nos hacen sobre la optimización del archivo robots.txt en WordPress.
¿1. El uso de robots.txt puede mejorar la seguridad de mi sitio?
No, robots.txt no es una medida de seguridad. El archivo es visible públicamente, por lo que en realidad no impide que nadie acceda a las URL que enumeras. Simplemente proporciona directivas para los rastreadores de motores de búsqueda que se comportan correctamente.
¿2. ¿Debo bloquear las páginas de categorías y etiquetas de WordPress en robots.txt?
No, no debes bloquear las páginas de categorías y etiquetas. Estas páginas de archivo contienen enlaces internos que los rastreadores siguen para llegar a tus publicaciones antiguas, por lo que bloquearlas elimina una ruta de descubrimiento para el contenido que sí deseas indexar.
¿3. ¿Cuál es la diferencia entre robots.txt y la etiqueta noindex?
Controlan cosas diferentes. Robots.txt controla si un rastreador puede visitar una URL en absoluto. La etiqueta noindex controla si los motores de búsqueda incluyen una página en los resultados de búsqueda, incluso si ya la han visitado.
Usa robots.txt para bloquear rastreadores de áreas como tu panel de administración, entorno de staging o directorios de plugins. Usa noindex para páginas que no te importa que Google rastree, como páginas de archivo filtradas o páginas de agradecimiento, que simplemente no quieres que aparezcan en los resultados de búsqueda.
Esperamos que este artículo te haya ayudado a aprender cómo optimizar tu archivo robots.txt de WordPress para SEO. También puedes consultar nuestra guía definitiva de SEO para WordPress y nuestras selecciones expertas de las mejores herramientas de SEO para WordPress para hacer crecer tu sitio web.
Si te gustó este artículo, suscríbete a nuestro Canal de YouTube para ver tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.
Dennis Muthomi
I have to admit, I use the AIOSEO plugin but have always ignored the “Enable Custom Robots.txt” option because I didn’t want to mess anything up.
But I have read this article and I’m convinced it’s worth taking the time to optimize my site’s robots.txt file.
Amit Banerjee
Si se hubiera proporcionado la plantilla completa de robots.txt, habría sido de ayuda.
Soporte de WPBeginner
Incluimos el robots.txt completo
Administrador
Michael
Creo que deberías modificar tu respuesta. Debería ser https en lugar de http. ¿Está bien desautorizar también los archivos de plugins?
Soporte de WPBeginner
Gracias por señalarlo, nuestra muestra se ha actualizado. Para desautorizar plugins, deberías consultar con el plugin específico para estar seguro.
Moinuddin Waheed
Gracias por esta publicación informativa sobre el archivo robots.txt.
No sabía que los sitios web debían mantener este archivo para tener control sobre los bots de Google y cómo deberían rastrear nuestras páginas y publicaciones.
Para los sitios web para principiantes que recién comienzan, ¿es necesario tener un archivo robots.txt o hay alguna forma como un plugin que pueda crear un archivo robots.txt para nuestro sitio web?
Soporte de WPBeginner
La mayoría de los plugins de SEO ayudan a configurar el robots.txt para un sitio nuevo para evitar que los bots rastreen secciones que no deberían.
Administrador
Jiří Vaněk
Gracias a este artículo, revisé el archivo robots.txt y agregué direcciones URL con sitemaps. Al mismo tiempo, tenía otras líneas problemáticas allí, que fueron reveladas por el validador. Hasta ahora no estaba familiarizado con los sitemaps en robots.txt. Gracias.
Soporte de WPBeginner
¡De nada, nos alegra que nuestra guía haya podido ayudar!
Administrador
Stéphane
Hola,
Gracias por esa publicación, queda más claro cómo usar el archivo robots.txt. En la mayoría de los sitios web que encuentras mientras buscas consejos sobre el archivo robots.txt, puedes ver que las siguientes carpetas están explícitamente excluidas del rastreo (para WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Realmente no entiendo las razones para excluir esas carpetas (¿hay alguna en realidad?). ¿Cuál sería tu opinión al respecto?
Soporte de WPBeginner
Principalmente es para evitar que cualquier cosa en esas carpetas aparezca como resultado cuando un usuario busca tu sitio. Como ese no es tu contenido, no es algo que la mayoría de la gente querría que apareciera en los resultados del sitio.
Administrador
zaid haris
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
GSC muestra el error de cobertura para “Disallow: /wp-admin/” ¿Esto es incorrecto?
Soporte de WPBeginner
Para la mayoría de los sitios, no quieres que nada de tu wp-admin aparezca como resultado de búsqueda, por lo que está bien y es esperado recibir el área de cobertura cuando le niegas a Google la capacidad de escanear tu wp-admin.
Administrador
Hansini
Estoy creando mi robots.txt manualmente como indicaste para mi sitio de WordPress.
Tengo una duda. cuando escribo User-Agent: * ¿no permitirá que otro robot de spam acceda a mi sitio?
¿Debería escribir User-Agent: * o User-Agent: Googlebot.?
Soporte de WPBeginner
La línea User-Agent establece las reglas que todos los robots deben seguir en tu sitio; si especificas un bot en particular en esa línea, estarías estableciendo reglas para ese bot específico y ninguno de los otros.
Administrador
Nishant
¿Qué deberíamos escribir para que Google indexe mi publicación?
Soporte de WPBeginner
Para que tu sitio aparezca en la lista, te recomendamos que consultes nuestro artículo a continuación:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Administrador
Sanjeev Pandey
¿deberíamos también desautorizar /wp-content/themes/ ?
Aparece en los resultados de búsqueda cuando ejecuto el comando site:abcdef.com en la búsqueda de Google
Soporte de WPBeginner
No deberías preocuparte por bloquear la carpeta de tus temas y, a medida que escribas contenido optimizado para SEO, ya no deberías ver los temas como resultado de búsqueda.
Administrador
Salem
HOLA, ¿Qué significa "Disallow: /readme.html & Disallow: /refer/"?
Soporte de WPBeginner
Eso significa que le estás diciendo a los motores de búsqueda que no revisen ningún enlace de referencia ni el archivo readme.html.
Administrador
sean
Hola, ¿cuáles son los pros y los contras de bloquear wp-content/uploads
Gracias
Soporte de WPBeginner
Si bloqueas tu carpeta de subidas, los motores de búsqueda normalmente no rastrearían tu contenido subido, como las imágenes.
Administrador
Piyush
gracias por resolver mi problema
Soporte de WPBeginner
De nada
Administrador
Ravi kumar
Señor, estoy muy confundido acerca de robot.txt, muchas veces envié el mapa del sitio en Blogger, pero después de 3 o 4 días aparece el mismo problema, ¿qué es exactamente robot.txt.. & cómo enviarlo, por favor guíeme?
Soporte de WPBeginner
Dependería de tu problema específico, quizás quieras echar un vistazo a nuestra página a continuación:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Administrador
Prem
Si no indexo una URL o página usando el archivo robots.txt, ¿google muestra algún error en la consola de búsqueda?
Soporte de WPBeginner
No, Google no listará la página, pero si la página está listada, no mostrará un error.
Administrador
Bharat
Hola
Tengo una pregunta
Recibí una advertencia de problema de cobertura de Google Search Console por "bloqueado por robots.txt"
/wp-admin/widgets.php
Mi pregunta es, ¿puedo permitir /wp-admin/widgets.php en robots.txt y es seguro?
Soporte de WPBeginner
Si quisieras, puedes, pero ese no es un archivo que Google necesite rastrear.
Administrador
Anthony
Hola, me pregunto si deberías permitir: /wp-admin/admin-ajax.php?
Soporte de WPBeginner
Normalmente, sí deberías.
Administrador
Jaira
¿Puedo saber por qué deberías permitir /wp-admin/admin-ajax.php?
Soporte de WPBeginner
Es utilizado por diferentes temas y plugins para que aparezcan correctamente para los motores de búsqueda.
Amila
¡Hola! Me gusta mucho este artículo y como soy principiante con todo esto del rastreo, me gustaría preguntar algo al respecto. Recientemente, Google rastreó e indexó uno de mis sitios web de una manera terrible, mostrando páginas en los resultados de búsqueda que están eliminadas del sitio web. El sitio web no tenía desanimado a los motores de búsqueda de indexar en la configuración de WordPress al principio, pero lo hizo más tarde después de que Google mostrara 3 páginas más en los resultados de búsqueda (esas páginas tampoco existen) y realmente no entiendo cómo pudo suceder con la opción "desanimar a los motores de búsqueda de indexar" activada. Entonces, ¿el método Yoast puede ser útil y solucionar mi sitio web para que Google indexe mi sitio web de la manera apropiada esta vez? ¡Gracias de antemano!
Soporte de WPBeginner
El plugin Yoast debería poder ayudar a asegurar que las páginas que tienes se indexen correctamente, existe la posibilidad de que antes de desanimar a los motores de búsqueda de rastrear tu sitio, tu página se haya almacenado en caché.
Administrador
Amila
Bueno, sí, y de todas las páginas, almacenó en caché las que ya no existen. De todos modos, como la página actual está en la configuración de "desanimar", ¿es mejor dejarla así por ahora o desmarcar la casilla y dejar que Google la rastree e indexe de nuevo con la ayuda de Yoast? ¡Gracias! ¡Con tus artículos, todo se volvió más fácil!
Soporte de WPBeginner
Querrás que Google vuelva a rastrear tu sitio una vez que esté configurado como deseas.
Pradhuman Kumar
Hola, me encantó el artículo, muy preciso y perfecto.
Solo una pequeña sugerencia, por favor actualiza la imagen del probador ROBOTS.txt, ya que la Consola de Google ha cambiado y sería genial si agregas el enlace para verificar el robots.txt desde Google.
Soporte de WPBeginner
Gracias por tus comentarios, nos aseguraremos de actualizar el artículo tan pronto como nos sea posible.
Administrador
Kamaljeet Singh
El archivo robots.txt de mi blog era:
User-Agent: *
crawl-delay: 10
Después de leer esta publicación, lo cambié a tu archivo robots.txt recomendado. ¿Está bien que haya eliminado crawl-delay?
Soporte de WPBeginner
Debería estar bien, crawl-delay le dice a los motores de búsqueda que reduzcan la velocidad con la que rastrean tu sitio.
Administrador
reena
Muy bien descrito sobre robot.text, estoy muy feliz
eres un muy buen escritor
Soporte de WPBeginner
Gracias, me alegra que te haya gustado nuestro artículo
Administrador
JJ
¿Qué es la página Disallow: /refer/ ? Obtengo un 404, ¿es este un archivo oculto de wp?
Personal editorial
Usamos /refer/ para redirigir a varios enlaces de afiliados en nuestro sitio web. No queremos que se indexen ya que solo son redirecciones y no contenido real.
Administrador
Sagar Arakh
Gracias por compartir. Esto fue realmente útil para mí para entender robots.txt
He actualizado mi robots.txt al ideal que sugeriste. ahora esperaré los resultados
Soporte de WPBeginner
De nada, nos alegra que estés dispuesto/a a usar nuestras recomendaciones
Administrador
Akash Gogoi
Artículo muy útil. Muchas gracias.
Soporte de WPBeginner
Me alegra que nuestro artículo haya sido útil
Administrador
Zingylancer
Gracias por compartir esta información útil sobre nosotros.
Soporte de WPBeginner
Nos alegra poder compartir esta información sobre el archivo robots.txt
Administrador
Jasper
gracias por actualizar la información para mí. Tu artículo fue bueno para el archivo Robot txt. Me dio una nueva información. gracias y mantenme actualizado con nuevas ideas.
Soporte de WPBeginner
Nos alegra que nuestra guía haya sido útil
Administrador
Imran
Gracias, agregué robots.txt en WordPress. Muy buen artículo
Soporte de WPBeginner
Gracias, nos alegra que nuestro artículo haya sido útil
Administrador