Cómo solucionar el problema del presupuesto de rastreo SEO en WordPress

El presupuesto de rastreo es el límite que Google establece sobre cuántas páginas rastreará en tu sitio web.

Además de tus publicaciones y páginas, WordPress genera varias URL adicionales que los motores de búsqueda pueden rastrear e indexar. Esto significa que Google puede gastar tu presupuesto de rastreo en páginas innecesarias en lugar de en tu contenido importante.

En este artículo, te mostraremos cómo optimizar tu presupuesto de rastreo en WordPress, para que Google encuentre primero tu contenido importante.

Respuesta rápida: Cómo corregir el presupuesto de rastreo en WordPress

Bloquear URL innecesarias con la configuración de limpieza de rastreo de tu plugin de SEO o robots.txt asegura que tu presupuesto de rastreo no se desperdicie.

La mayoría de los sitios web pequeños puede que nunca se queden sin presupuesto de rastreo. Sin embargo, WordPress crea muchas más URL de las que publicas. Google puede terminar desperdiciando presupuesto de rastreo en estas URL, y tus páginas importantes pueden no ser rastreadas rápida o frecuentemente.

Usa los enlaces rápidos a continuación para saltar directamente a la solución que necesitas:

¿Qué es el presupuesto de rastreo y cómo comprobarlo?

El presupuesto de rastreo es el número de páginas que un motor de búsqueda como Google rastreará en tu sitio web dentro de un período de tiempo específico. Hay dos factores principales:

• Capacidad de rastreo: ¿Cuántas solicitudes puede hacer Google sin que su servidor se caiga o se ralentice? Si su servidor es rápido y confiable, su capacidad es alta.
• Demanda de rastreo: ¿Cuánto quiere Google rastrear su sitio según su popularidad, calidad general y con qué frecuencia publica contenido nuevo?

Cuando las páginas de bajo valor o los servidores lentos consumen su presupuesto de rastreo, Google rastrea menos y tarda más en indexar su contenido nuevo.

Vale la pena tomarse un momento para examinar su informe de Estadísticas de rastreo en Google Search Console. Le indica cuándo y con qué frecuencia Googlebot visita su sitio web. Simplemente abra Google Search Console y vaya a Configuración » Estadísticas de rastreo » Abrir informe para consultarlo.

Una vez que esté en el informe, Google desglosa las solicitudes de rastreo de cuatro maneras. Esto es lo que muestra cada una:

• Por respuesta. Cómo respondió su servidor a cada solicitud, incluyendo 'OK (200)', 'No encontrado (404)', redirecciones y errores del servidor (5XX).
• Por tipo de archivo. Lo que Googlebot descargó entre páginas HTML, imágenes, CSS y JavaScript.
• Por propósito. 'Descubrimiento' significa que Google está rastreando una URL por primera vez, mientras que 'Actualización' significa que está volviendo a rastrear páginas que ya conoce.
• Por tipo de Googlebot. Muestra qué rastreador realizó la solicitud. Una alta cuota de 'Smartphone' es normal, ya que Google rastrea principalmente la versión móvil de su sitio.

Haga clic en cualquier fila de estos informes para ver las URL específicas y sus estadísticas de rastreo individuales. Estos datos también le mostrarán exactamente qué correcciones necesita su sitio:

• Una gran parte de las respuestas 'No encontrado (404)' o 'Error del servidor (5XX)' significa que las URL muertas están consumiendo solicitudes. Puede resolver esto limpiando sus cadenas de redirección y corrigiendo enlaces rotos.
• Un gran número de 'Sindicación' significa que Google está gastando solicitudes en feeds en lugar de en su contenido. Puede detener fácilmente este desperdicio bloqueando esas URL innecesarias.
• Si su estadística de rastreo de 'Descubrimiento' sigue siendo alta incluso cuando no está publicando contenido nuevo, es probable que Google esté perdiendo el tiempo en URL generadas automáticamente, como páginas de clasificación y filtros. Puede detener esto aplicando las mismas reglas de bloqueo de robots.txt.
• Los tiempos de respuesta promedio lentos o los errores repetidos del servidor limitan todo su presupuesto. Esta es una señal clara de que es hora de acelerar su servidor.

Finalmente, verifique la métrica 'Descubiertas, actualmente no indexadas' en su informe de Indexación de páginas. Google usa esto cuando retrasa un rastreo para evitar que su servidor se caiga. Un recuento alto aquí es un indicador directo de que el rastreo de su sitio está limitado.

Bloquea URL que desperdician rastreo con robots.txt o tu plugin de SEO

La mayor parte del presupuesto de rastreo desperdiciado proviene de URL que WordPress y sus complementos generan automáticamente, no de los artículos que usted escribe.

Estas URL innecesarias incluyen feeds, enlaces de respuesta de comentarios, resultados de búsqueda internos, parámetros de seguimiento de sus campañas y anuncios, y parámetros de filtro de WooCommerce.

Antes de comenzar a desautorizar URL, tenga en cuenta dos cosas:

• Nunca desautorices CSS o JS. Google necesita cargar estos archivos para mostrar tus páginas correctamente.
• No bloquees una URL que planeas no indexar. Una etiqueta noindex le pide a Google que mantenga una página fuera de los resultados de búsqueda. Sin embargo, Google tiene que rastrear la página de WordPress para ver esa etiqueta, por lo que bloquear la URL en robots.txt significa que Google nunca la lee.

Escribe tus reglas de robots.txt a mano

El archivo robots.txt es un archivo de texto plano que se encuentra en la raíz de tu sitio web. Le dice a los bots de los motores de búsqueda qué URLs no deben visitar.

Puedes editar tu archivo robots.txt manualmente a través de tu cuenta de hosting. Sin embargo, usar el editor integrado en tu plugin de SEO es mucho más fácil.

Por ejemplo, en All in One SEO, lo encontrarás en All in One SEO » Herramientas » Editor de Robots.txt.

Otros plugins populares como Yoast SEO y Rank Math ofrecen editores de robots.txt similares.

Comienza identificando los patrones de URL que no quieres que se rastreen, como /?s= para búsquedas internas, ?replytocom= añadido a las URLs de las publicaciones para los enlaces de respuesta de comentarios, y /feed/ para los feeds RSS.

Antes de bloquear tus feeds RSS, asegúrate de que no los necesitas para un podcast, un boletín de correo electrónico automatizado o lectores de feeds. Una vez que sepas que no se están utilizando, agrega una regla Disallow para cada uno.

User-agent: *
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /*/feed/

Una vez que hayas guardado tus reglas, verifícalas con el informe robots.txt de Google Search Console antes de continuar.

Confirma que tus nuevas reglas Disallow aparecen allí sin errores de sintaxis marcados.

Configura la limpieza de rastreo en tu plugin de SEO

Si prefieres no escribir las reglas de robots.txt a mano, la configuración de limpieza de rastreo de tu plugin de SEO puede hacer el mismo trabajo con simples interruptores.

Si estás usando AIOSEO, lo encontrarás en All in One SEO » Apariencia de Búsqueda » Avanzado. Luego activa la ‘Limpieza de Rastreo’. La herramienta Limpieza de Rastreo te permite deshabilitar feeds RSS innecesarios (como los que WordPress genera automáticamente para comentarios, autores y adjuntos), bloquear bots no deseados y detener el rastreo de URLs de búsqueda interna.

Asegúrate de dejar tu feed principal del sitio activado. Es por eso que AIOSEO lo marca como ‘no se recomienda deshabilitar’.

Yoast SEO tiene la misma funcionalidad en Yoast SEO » Configuración » Avanzado » Optimización de rastreo, con sus propias opciones de eliminación de feeds y limpieza de parámetros de URL.

Una vez que hayas activado estas opciones, revisa tu archivo robots.txt para confirmar que las nuevas reglas estén realmente activas.

Cómo gestionar los parámetros de seguimiento

Las campañas de correo electrónico, anuncios y herramientas de marketing a menudo agregan parámetros de seguimiento a tus URLs (como utm_source, fbclid o gclid) para ver de dónde provienen los visitantes.

Monitoreo de Argumentos de Consulta de AIOSEO te muestra cuáles de estos argumentos de consulta (los valores adicionales después de un signo de interrogación en una URL) Googlebot está rastreando realmente. Lo encontrarás en la parte inferior de la misma pantalla ‘Avanzado’ en AIOSEO.

La mayoría de las veces, no necesitas bloquear o redirigir los enlaces de seguimiento.

Si bien AIOSEO ofrece un interruptor ‘Optimizar Parámetros UTM’ que reescribe estos enlaces mediante redirecciones, recomendamos encarecidamente dejarlo desactivado para no romper accidentalmente los datos de seguimiento.

Sin embargo, si detectas argumentos de consulta en tu monitor que no tienen ningún propósito, puedes agregarlos de forma segura a la lista de bloqueo en esta sección. Los usuarios avanzados también pueden usar Regex (expresiones regulares) para bloquear múltiples URL similares a la vez.

Limpia las URL de filtros y carritos de WooCommerce

Las tiendas de WooCommerce agregan sus propios parámetros que desperdician rastreo además de todo lo anterior, principalmente orderby=, filter_, min_price= y max_price=, y add-to-cart=.

Puedes bloquear los que no tienen valor de búsqueda usando el mismo enfoque de robots.txt, o agregarlos como argumentos de consulta en Monitoreo de Argumentos de Consulta desde la sección anterior.

Bloquear add-to-cart= es seguro ya que activa una acción en lugar de servir contenido único.

Haz lo mismo para los filtros de ordenación y rango de precios, con una excepción: un filtro que genera tráfico de búsqueda por sí solo, como un tamaño o color popular único.

Desindexa contenido poco relevante: archivos de etiquetas, fechas y autores

La desindexación significa eliminar una página de los resultados de búsqueda de Google. Lo haces agregando una etiqueta noindex, que pide a los motores de búsqueda que no muestren esa página cuando la gente busca.

WordPress crea automáticamente páginas de archivo que agrupan tus publicaciones por etiqueta, fecha y autor. Estos archivos repiten en su mayoría contenido que ya existe en tu sitio, por lo que los expertos en SEO los llaman páginas ‘delgadas’.

Aquí hay cuatro tipos de archivo que generalmente son seguros para noindex:

• Archivos de autor, si tu sitio tiene un solo escritor
• Archivos de etiquetas que no funcionan como páginas de destino reales
• Archivos de fecha, que rara vez tienen algún valor de búsqueda por sí solos
• Páginas de adjuntos, que los sitios de WordPress más antiguos crean para cada imagen subida (WordPress 6.4 dejó de crearlas para nuevas instalaciones en noviembre de 2023)

Puedes configurar cada uno de los tipos de archivo para noindex desde la configuración de archivo de tu plugin de SEO. La mayoría de los plugins de SEO de WordPress incluyen esta configuración en sus versiones gratuitas.

En AIOSEO, lo encontrarás en All in One SEO » Apariencia de Búsqueda » Archivos.

Antes de guardar, verifica que no hayas desindexado accidentalmente una página importante, o un tipo de publicación completo.

Mantén tu sitemap XML limpio

Tu sitemap XML le dice a Google qué URL consideras importantes y recientes. Al mantener tu sitemap libre de desorden, te aseguras de que los motores de búsqueda se centren en tu contenido más valioso en lugar de perder tiempo en archivos paginados.

Por defecto, WordPress crea un sitemap XML para tu sitio. Para un mayor control, recomendamos generar un sitemap personalizado con un plugin de SEO.

Un sitemap personalizado agrega fechas de última modificación y elimina de él las páginas que configuraste para noindex. AIOSEO, Yoast SEO y Rank Math te permiten crear un sitemap en sus versiones gratuitas.

Corrige errores de rastreo y cadenas de redirección

Las URL muertas y redirigidas todavía te cuestan solicitudes de rastreo porque Google solo se entera de que una URL está muerta al obtenerla. En un sitio típico de WordPress, estas solicitudes de rastreo desperdiciadas suelen provenir de tres culpables principales:

• Cadenas de redirección. Esto sucede cuando la URL A redirige a B, que luego redirige a C. Para solucionar esto, acorta la cadena enrutando la URL original directamente al destino final con una sola redirección 301 (permanente).
• Errores de Soft 404. Esto ocurre cuando se elimina una página, pero tu servidor aún devuelve un código de éxito normal de “200 OK”. Google seguirá rastreando la URL porque el servidor no ha indicado explícitamente que el contenido ya no está disponible. Puedes solucionar esto asegurándote de que las páginas eliminadas devuelvan un código de estado 404 (No encontrado) o 410 (Ya no existe) apropiado.
• Enlaces internos obsoletos. Cada vez que Google sigue un enlace interno que conduce a una página rota o a una redirección, agota tu presupuesto de rastreo. Debes auditar regularmente tus enlaces internos y eliminarlos o actualizarlos para que apunten directamente a la URL final activa.

También puedes leer nuestra guía sobre cómo crear una redirección en WordPress, que te guía a través de todo el proceso.

Acelera tu servidor para aumentar tu tasa de rastreo

Un servidor rápido anima a Google a rastrear más páginas, mientras que un servidor con problemas lo obliga a retroceder. Para mejorar tus tiempos de respuesta, necesitas dos cosas: un hosting de WordPress robusto y una configuración de caché activa.

Sin embargo, los errores del servidor pueden perjudicar tu presupuesto de rastreo incluso más que la velocidad de tu página. Si Googlebot experimenta tiempos de espera con frecuencia, reduce drásticamente el rastreo y tarda en recuperarse.

Puedes monitorear los tiempos de respuesta y los errores del servidor en el informe Estadísticas de rastreo de Google Search Console. Los errores suelen ser causados por un plan de hosting al límite o un plugin defectuoso.

Consulta nuestra guía para solucionar errores internos del servidor 500 para obtener ayuda con los registros de errores y los límites de hosting.

Bloquea rastreadores de IA que desperdician los recursos de tu servidor

Los rastreadores de IA como GPTBot, ClaudeBot y PerplexityBot no utilizan tu presupuesto de rastreo de Google. Sin embargo, acceden al mismo servidor y el scraping agresivo puede ralentizar tu sitio lo suficiente como para afectar negativamente tu tasa de rastreo de Google.

La solución más rápida para solucionar este problema es la limpieza de rastreo que viene con la mayoría de los plugins de SEO. La Limpieza de Rastreo de AIOSEO incluye configuraciones para bloquear bots que detienen a los bots de IA no deseados a nivel de WordPress.

Para una protección más sólida, el Control de Rastreo de IA gratuito de Cloudflare te permite bloquear rastreadores individuales desde su pestaña Rastreadores. Bloquea a los rastreadores antes de que lleguen a tu servidor de hosting.

Sin embargo, ten cuidado al configurar tu lista de bloqueo. Muchos de estos 'bots' pueden ser asistentes de búsqueda de IA que generan tráfico a tu sitio, por lo que bloquearlos indiscriminadamente perjudicará tu visibilidad general.

Preguntas frecuentes sobre el presupuesto de rastreo de WordPress

Aquí están las preguntas que recibimos con más frecuencia sobre el presupuesto de rastreo.

¿Puedes establecer o aumentar tu presupuesto de rastreo?

No hay un número fijo que puedas establecer. Puedes aumentar tu capacidad de rastreo con un servidor más rápido y confiable, y puedes aumentar la demanda de rastreo con contenido fresco y no duplicado que Google realmente quiera revisitar.

¿Cómo evito que Google rastree las URL de /feed/ que aparecen como duplicados en Search Console?

Deshabilita los feeds redundantes con la Limpieza de Rastreo de AIOSEO, o agrega una regla de `Disallow` para las URLs de tus feeds a tu `robots.txt`. Ese contenido ya está indexado en otras partes de tu sitio, por lo que bloquear los feeds no te cuesta nada en términos de tráfico orgánico.

¿La etiqueta noindex ahorra presupuesto de rastreo?

No directamente, porque Google todavía tiene que rastrear la página para ver la etiqueta. En su lugar, evita que Google rastree mediante un archivo robots.txt.

¿Una página 404 personalizada con enlaces útiles mejorará mi presupuesto de rastreo?

No, aunque mejora la experiencia del usuario. Para asegurar que el presupuesto de rastreo no se desperdicie, asegúrate de que tu servidor envíe el código de estado 404 o 410 correcto para una página que ya no existe.

Esperamos que este artículo te haya ayudado a encontrar y solucionar lo que está desperdiciando tu presupuesto de rastreo. Dale unas semanas a los cambios, luego revisa las Estadísticas de rastreo nuevamente para ver la mejora.

También te puede interesar leer nuestra guía definitiva de WordPress SEO o cómo evitar que los motores de búsqueda rastreen un sitio de WordPress.

Si te gustó este artículo, suscríbete a nuestro Canal de YouTube para ver tutoriales en video de WordPress. También puedes encontrarnos en Twitter y Facebook.