Cómo evitar que los motores de búsqueda rastreen un sitio de WordPress

Cuando estás creando un nuevo sitio de WordPress, querrás mantenerlo oculto de los motores de búsqueda hasta que esté listo para los visitantes. Hacemos esto para todos nuestros proyectos nuevos, ya que es un paso clave para un lanzamiento fluido y profesional.

Controlar lo que los motores de búsqueda pueden ver es esencial para proteger el contenido privado y el futuro SEO de tu sitio. Te da control total sobre cuándo tu sitio se hace público.

Después de años de experiencia, hemos encontrado los métodos más confiables para administrar la visibilidad del sitio. Estas son las mismas técnicas sencillas que usamos para nuestros propios sitios web y recomendamos a nuestros lectores.

Ahora, repasemos los pasos exactos para evitar que los motores de búsqueda rastreen tu sitio de WordPress.

¿Por qué evitar que los motores de búsqueda rastreen un sitio de WordPress?

Para la mayoría de los sitios web de WordPress, los motores de búsqueda son la mayor fuente de tráfico. Te preguntarás, ¿por qué alguien querría disuadir a los motores de búsqueda?

Aquí hay algunas situaciones en las que no querrás que los motores de búsqueda indexen tu sitio web:

• Al empezar, es posible que no sepas cómo crear un entorno de desarrollo local o un sitio de staging, y en su lugar, desarrollas tu sitio web mientras está en línea. No querrás que Google indexe tu sitio cuando esté en construcción o en modo de mantenimiento.

• También hay muchas personas que usan WordPress para crear blogs privados. No quieren que sean indexados por los motores de búsqueda porque son privados.

• Puedes usar WordPress para gestión de proyectos o una intranet. En estos casos, no querrás que tus documentos internos sean accesibles públicamente.

Una idea errónea común es que si no tienes enlaces apuntando a tu dominio, los motores de búsqueda probablemente nunca encontrarán tu sitio web. Esto no es completamente cierto.

Por ejemplo, puede haber enlaces apuntando a tu sitio porque el nombre de dominio fue propiedad de alguien más anteriormente. Además, hay miles de páginas en Internet que simplemente listan nombres de dominio. Tu sitio puede aparecer en una de ellas.

Antes de sumergirnos en los métodos, aclaremos rápidamente dos términos importantes:

• Rastreo es cuando los bots de los motores de búsqueda (como Googlebot) visitan tu sitio web para descubrir su contenido.
• Indexación es cuando agregan ese contenido a su enorme base de datos de búsqueda para que pueda aparecer en los resultados de búsqueda.

Piensa en ello como un bibliotecario leyendo un libro nuevo (rastreo) y luego agregándolo al catálogo de la biblioteca (indexación). Algunos de los métodos a continuación detienen el rastreo por completo, mientras que otros solo evitan la indexación. ¡Dejaremos claro cuál es cuál!

Dicho esto, veamos cómo evitar que los motores de búsqueda rastreen tu sitio web. Cubriremos cuatro métodos:

1. Pedir a los motores de búsqueda que no rastreen tu sitio de WordPress
2. Pedir a los motores de búsqueda que no rastreen páginas individuales
3. Proteger con contraseña un sitio completo usando cPanel
4. Protección de WordPress con contraseña mediante un plugin
5. Preguntas frecuentes (FAQs)
6. Guías expertas sobre rastreo e indexación de motores de búsqueda

Método 1: Pedir a los motores de búsqueda que no rastreen tu sitio de WordPress

Este es el método más sencillo, pero no protege completamente tu sitio web de ser rastreado.

WordPress viene con una función integrada que te permite indicar a los motores de búsqueda que no indexen tu sitio. Todo lo que necesitas hacer es visitar Ajustes » Lectura y marcar la casilla junto a 'Visibilidad en los motores de búsqueda'.

Cuando esta casilla está marcada, WordPress añade esta línea al encabezado de tu sitio web:

<meta name='robots' content='noindex,follow' />

Esta etiqueta le dice a los motores de búsqueda que no muestren esta página en los resultados de búsqueda (noindex), pero que aún pueden seguir los enlaces de esta página para descubrir otras páginas (follow).

WordPress también modifica el archivo robots.txt de tu sitio y le añade una regla de desautorización:

User-agent: *
Disallow: /

Estas líneas piden a los robots (rastreadores web o bots) que no indexen tus páginas web. Sin embargo, depende totalmente de los motores de búsqueda aceptar esta solicitud o ignorarla. Aunque la mayoría de los motores de búsqueda respetan la solicitud, todavía existe la posibilidad de que algunas páginas o imágenes de tu sitio se indexen.

Si quieres hacer imposible que los motores de búsqueda indexen o rastreen tu sitio web, entonces necesitarás proteger tu sitio de WordPress con contraseña utilizando los Métodos 3 o 4.

Método 2: Pedir a los motores de búsqueda que no indexen páginas individuales

Es posible que desees que los motores de búsqueda rastreen e indexen tu sitio web, pero que no incluyan una publicación o página específica en las páginas de resultados de búsqueda.

La forma más fácil de hacerlo es usando el All in One SEO (AIOSEO) plugin. Es la mejor herramienta SEO para WordPress y es confiada por más de 3 millones de negocios.

Para este tutorial, usaremos la versión gratuita de AIOSEO ya que incluye la herramienta de Análisis SEO. También existe una versión premium de AIOSEO que ofrece más funciones como herramientas de mapa del sitio, gestor de redirecciones, marcado de esquema, editor de robots.txt y más.

Lo primero que necesitarás hacer es instalar y activar el plugin AIOSEO en tu sitio web. Puedes aprender cómo instalar y configurar el plugin siguiendo nuestra guía paso a paso sobre cómo configurar All in One SEO para WordPress.

Una vez que el plugin esté configurado, puedes usarlo para pedir a los motores de búsqueda que no indexen ciertas publicaciones y páginas. De nuevo, depende totalmente de los motores de búsqueda aceptar esta solicitud o ignorarla.

Simplemente edita la publicación o página que no quieres que sea indexada. Necesitas desplazarte hacia abajo hasta la configuración de AIOSEO en la parte inferior del editor de WordPress y luego hacer clic en la pestaña 'Avanzado'.

Observa que el artículo está usando la configuración predeterminada de robots.

Para cambiar esto, necesitas cambiar el interruptor 'Usar configuración predeterminada' a la posición de apagado.

Ahora puedes hacer clic en la casilla de verificación 'No Index'. Una vez que la publicación se publique o actualice, se les pedirá a los motores de búsqueda que no la indexen.

Para obtener más información, consulta nuestra detallada reseña de AIOSEO.

Método 3: Proteger con contraseña un sitio completo usando cPanel

Si tu proveedor de hosting de WordPress ofrece acceso a cPanel para administrar tu cuenta de hosting, entonces puedes proteger todo tu sitio usando cPanel.

Todo lo que tienes que hacer es iniciar sesión en tu panel de control de cPanel y luego hacer clic en el ícono 'Privacidad del directorio' en la sección 'Archivos'.

A continuación, necesitas encontrar la carpeta donde instalaste WordPress. Normalmente, es la carpeta public_html.

Después de eso, simplemente haz clic en el botón 'Editar' junto a esa carpeta.

Esto te lleva a una pantalla donde puedes activar la protección con contraseña.

Simplemente marca la casilla que dice 'Proteger este directorio con contraseña' y haz clic en el botón 'Guardar'. Si lo deseas, también puedes personalizar el nombre del directorio protegido.

Verás un mensaje de confirmación que dice que los permisos de acceso para el directorio han sido cambiados.

A continuación, debes hacer clic en el botón 'Volver'.

Se te llevará a una pantalla donde podrás crear un nombre de usuario y una contraseña que necesitarás usar al acceder a este directorio.

Necesitas ingresar un nombre de usuario y una contraseña, y luego confirmar la contraseña. Asegúrate de anotar tu nombre de usuario y contraseña en un lugar seguro, como una aplicación de administrador de contraseñas.

Una vez que hagas clic en el botón 'Guardar', habrás agregado exitosamente protección con contraseña a tu sitio de WordPress.

Ahora, cada vez que un usuario o motor de búsqueda visite tu sitio web, se le pedirá que ingrese el nombre de usuario y la contraseña que creaste anteriormente para ver el sitio.

Método 4: Proteger con contraseña WordPress con un plugin

Si estás utilizando una solución de hosting de WordPress administrado, es posible que no tengas acceso a cPanel. En ese caso, puedes usar un plugin de WordPress para proteger tu sitio con contraseña.

Aquí tienes las dos soluciones más populares:

1. SeedProd es el plugin #1 de modo "próximamente" y de mantenimiento para WordPress, utilizado en más de 2 millones de sitios web. Viene con control de acceso completo y funciones de permisos que puedes usar para ocultar tu sitio web de todos, incluidos los motores de búsqueda. Tenemos una guía paso a paso sobre cómo usar SeedProd.
2. Password Protected es una forma muy sencilla de proteger tu sitio de WordPress con contraseña utilizando una sola contraseña (no se necesita crear usuarios). Consulta nuestra guía paso a paso sobre cómo proteger un sitio de WordPress con contraseña.

Preguntas frecuentes (FAQs)

Aquí tienes respuestas a algunas de las preguntas más comunes que recibimos sobre cómo evitar que los motores de búsqueda rastreen sitios de WordPress.

1. ¿Cuál es la diferencia entre bloquear el rastreo y bloquear la indexación?

Bloquear el rastreo (usando robots.txt) es como poner un letrero de ‘prohibido el paso’. Le pide a los bots de los motores de búsqueda que no vean el contenido de tu sitio. Bloquear la indexación (usando una etiqueta noindex) le dice a los motores de búsqueda que no listen tu sitio en sus resultados de búsqueda, incluso si lo han rastreado.

2. ¿Es suficiente la opción incorporada de WordPress ‘Disuadir a los motores de búsqueda’ para ocultar mi sitio?

Para desarrollo temporal, a menudo es suficiente. Sin embargo, este método es solo una solicitud, y algunos motores de búsqueda podrían no respetarla. Para privacidad completa o para proteger información sensible, la protección con contraseña es el único método garantizado.

3. ¿Proteger mi sitio con contraseña afectará mi SEO cuando esté listo para lanzar?

No, no afectará tu SEO. Cuando tu sitio esté protegido con contraseña, los motores de búsqueda no podrán acceder a él, por lo que no tendrá ninguna posición SEO (positiva o negativa). Una vez que elimines la protección con contraseña y permitas la indexación, los motores de búsqueda comenzarán a rastrearlo y clasificarlo normalmente.

4. ¿Cómo puedo verificar si Google ya ha indexado mi sitio?

La forma más fácil es hacer una búsqueda de sitio en Google. Ve a google.com y escribe site:tudominio.com en la barra de búsqueda, reemplazando ‘tudominio.com’ con la dirección real de tu sitio web. Si aparecen resultados, tu sitio ha sido indexado.

Guías expertas sobre rastreo e indexación de motores de búsqueda

Esperamos que este artículo te haya ayudado a evitar que los motores de búsqueda rastreen o indexen tu sitio de WordPress. Es posible que desees ver otras guías relacionadas con el rastreo y la indexación de motores de búsqueda:

• Cómo ocultar una página de WordPress de Google
• ¿Cómo hago que mi sitio de WordPress aparezca en Google? (Guía para principiantes)
• ¿Por qué mi sitio de WordPress fue desindexado de Google?
• Cómo pedirle a Google que vuelva a rastrear las URL de su sitio de WordPress
• Cómo optimizar tu archivo robots.txt de WordPress para SEO
• El problema del presupuesto de rastreo de SEO en WordPress y cómo solucionarlo

Si te gustó este artículo, suscríbete a nuestro canal de YouTube para obtener tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.