Como Corrigir o Problema de Orçamento de Rastreamento de SEO no WordPress

O orçamento de rastreamento é o limite que o Google define sobre quantas páginas ele rastreará em seu site.

Além de suas postagens e páginas, o WordPress gera vários URLs extras que os mecanismos de busca podem rastrear e indexar. Isso significa que o Google pode gastar seu orçamento de rastreamento em páginas desnecessárias em vez de seu conteúdo importante.

Neste artigo, mostraremos como otimizar seu orçamento de rastreamento no WordPress, para que o Google encontre seu conteúdo importante primeiro.

Resposta rápida: Como corrigir o orçamento de rastreamento no WordPress

Bloquear URLs desnecessárias com as configurações de limpeza de rastreamento do seu plugin de SEO ou robots.txt garante que seu orçamento de rastreamento não seja desperdiçado.

A maioria dos sites pequenos pode nunca ficar sem orçamento de rastreamento. No entanto, o WordPress cria muito mais URLs do que você publica. O Google pode acabar desperdiçando o orçamento de rastreamento nessas URLs, e suas páginas importantes podem não ser rastreadas rapidamente ou com frequência.

Use os links rápidos abaixo para pular direto para a correção que você precisa:

O que é Orçamento de Rastreamento e como verificá-lo?

O orçamento de rastreamento é o número de páginas que um mecanismo de busca como o Google rastreará em seu site dentro de um período específico. Existem dois fatores principais:

• Capacidade de rastreamento: Quantas solicitações o Google pode fazer sem travar ou desacelerar seu servidor. Se o seu servidor for rápido e confiável, sua capacidade é alta.
• Demanda de rastreamento: Quanto o Google quer rastrear seu site com base em sua popularidade, qualidade geral e com que frequência você publica conteúdo novo.

Quando páginas de baixo valor ou servidores lentos consomem seu orçamento de rastreamento, o Google rastreia menos e leva mais tempo para indexar seu novo conteúdo.

Vale a pena dedicar um momento para examinar seu relatório de Estatísticas de Rastreamento no Google Search Console. Ele informa quando e com que frequência o Googlebot visita seu site. Simplesmente abra o Google Search Console e vá para Configurações » Estatísticas de rastreamento » Abrir relatório para visualizá-lo.

Uma vez dentro do relatório, o Google detalha as solicitações de rastreamento de quatro maneiras. Veja o que cada uma mostra:

• Por resposta. Como seu servidor respondeu a cada solicitação, incluindo ‘OK (200)’, ‘Não encontrado (404)’, redirecionamentos e erros de servidor (5XX).
• Por tipo de arquivo. O que o Googlebot baixou entre páginas HTML, imagens, CSS e JavaScript.
• Por finalidade. ‘Descoberta’ significa que o Google está rastreando um URL pela primeira vez, enquanto ‘Atualização’ significa que ele está rastreando novamente páginas que já conhece.
• Por tipo de Googlebot. Mostra qual rastreador fez a solicitação. Uma alta participação de ‘Smartphone’ é normal, já que o Google rastreia principalmente a versão móvel do seu site.

Clique em qualquer linha nesses relatórios para ver os URLs específicos e suas estatísticas de rastreamento individuais. Esses dados também mostrarão exatamente quais correções seu site precisa:

• Uma grande parte de respostas ‘Não encontrado (404)’ ou ‘Erro de servidor (5XX)’ significa que URLs mortos estão consumindo solicitações. Você pode resolver isso limpando suas cadeias de redirecionamento e corrigindo links quebrados.
• Um grande número em ‘Sindicalização’ significa que o Google está gastando solicitações em feeds em vez de seu conteúdo. Você pode facilmente interromper esse desperdício bloqueando esses URLs desnecessários.
• Se sua estatística de rastreamento de ‘Descoberta’ permanecer alta, mesmo quando você não está publicando conteúdo novo, o Google provavelmente está perdendo tempo com URLs gerados automaticamente, como páginas de classificação e filtro. Você pode impedir isso aplicando as mesmas regras de bloqueio do robots.txt.
• Tempos médios de resposta lentos ou erros repetidos de servidor limitam todo o seu orçamento. Este é um sinal claro de que é hora de acelerar seu servidor.

Finalmente, verifique a métrica ‘Descoberto – atualmente não indexado’ em seu relatório de Indexação de Páginas. O Google usa isso quando atrasa um rastreamento para evitar travar seu servidor. Uma contagem alta aqui é um indicador direto de que o rastreamento do seu site está limitado.

Bloqueie URLs que desperdiçam rastreamento com o robots.txt ou seu plugin de SEO

A maior parte do orçamento de rastreamento desperdiçado vem de URLs que o WordPress e seus plugins geram automaticamente, não dos artigos que você escreve.

Esses URLs desnecessários incluem feeds, links de resposta de comentários, resultados de pesquisa internos, parâmetros de rastreamento de suas campanhas e anúncios, e parâmetros de filtro do WooCommerce.

Antes de começar a desautorizar URLs, tenha duas coisas em mente:

• Nunca desautorize CSS ou JS. O Google precisa carregar esses arquivos para exibir suas páginas corretamente.
• Não bloqueie uma URL que você planeja noindexar. Uma tag noindex pede ao Google para manter uma página fora dos resultados de pesquisa. No entanto, o Google precisa rastrear a página do WordPress para ver essa tag, então bloquear a URL no robots.txt significa que o Google nunca a lê.

Escreva suas regras do robots.txt manualmente

O arquivo robots.txt é um arquivo de texto simples que fica na raiz do seu site. Ele informa aos bots dos mecanismos de busca quais URLs eles não devem visitar.

Você pode editar seu arquivo robots.txt manualmente através da sua conta de hospedagem. No entanto, usar o editor integrado do seu plugin de SEO é muito mais fácil.

Por exemplo, no All in One SEO, você o encontrará em All in One SEO » Ferramentas » Editor Robots.txt.

Outros plugins populares como Yoast SEO e Rank Math oferecem editores de robots.txt semelhantes.

Comece identificando os padrões de URL que você não quer que sejam rastreados, como /?s= para pesquisas internas, ?replytocom= anexado a URLs de posts para links de resposta de comentários e /feed/ para feeds RSS.

Antes de bloquear seus feeds RSS, certifique-se de que não precisa deles para um podcast, uma newsletter por e-mail automatizada ou leitores de feed. Assim que souber que eles não estão sendo usados, adicione uma regra Disallow para cada um.

User-agent: *
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /*/feed/

Depois de salvar suas regras, verifique-as com o relatório robots.txt do Google Search Console antes de prosseguir.

Confirme se suas novas regras Disallow aparecem lá sem erros de sintaxe sinalizados.

Configure a Limpeza de Rastreamento em seu plugin de SEO

Se você preferir não escrever as regras do robots.txt manualmente, as configurações de limpeza de rastreamento do seu plugin de SEO podem fazer o mesmo trabalho com simples alternâncias.

Se você estiver usando o AIOSEO, o encontrará em All in One SEO » Aparência da Pesquisa » Avançado. Em seguida, ative a ‘Limpeza de Rastreamento’. A ferramenta Limpeza de Rastreamento permite desabilitar feeds RSS desnecessários (como os que o WordPress gera automaticamente para comentários, autores e anexos), bloquear bots indesejados e interromper o rastreamento de URLs de pesquisa interna.

Certifique-se de deixar seu feed principal do site ativado. É por isso que o AIOSEO o marca como ‘não recomendado desabilitar’.

O Yoast SEO tem a mesma funcionalidade em Yoast SEO » Configurações » Avançado » Otimização de Rastreamento, com suas próprias opções de remoção de feed e limpeza de parâmetros de URL.

Depois de ativar essas opções, verifique seu arquivo robots.txt para confirmar que as novas regras estão realmente ativas.

Como lidar com parâmetros de rastreamento

Campanhas de e-mail, anúncios e ferramentas de marketing frequentemente adicionam parâmetros de rastreamento às suas URLs (como utm_source, fbclid ou gclid) para ver de onde vêm os visitantes.

O Monitoramento de Argumentos de Consulta do AIOSEO mostra quais desses argumentos de consulta (os valores extras após um ponto de interrogação em uma URL) o Googlebot está realmente rastreando. Você o encontrará na parte inferior da mesma tela ‘Avançado’ no AIOSEO.

Na maioria das vezes, você não precisa bloquear ou redirecionar links de rastreamento.

Embora o AIOSEO ofereça uma opção ‘Otimizar Parâmetros UTM’ que reescreve esses links por meio de redirecionamentos, recomendamos fortemente deixá-la desativada para não quebrar acidentalmente os dados de rastreamento.

No entanto, se você encontrar argumentos de consulta em seu monitor que não servem absolutamente a nenhum propósito, pode adicioná-los com segurança à lista de bloqueio nesta seção. Usuários avançados também podem usar Regex (expressões regulares) para bloquear vários URLs semelhantes de uma vez.

Limpe URLs de filtro e carrinho do WooCommerce

Lojas WooCommerce adicionam seus próprios parâmetros que desperdiçam rastreamento, além de tudo o que foi mencionado acima, principalmente orderby=, filter_, min_price= e max_price=, e add-to-cart=.

Você pode bloquear aqueles sem valor de pesquisa usando a mesma abordagem robots.txt, ou adicioná-los como argumentos de consulta em Monitoramento de Argumentos de Consulta na seção acima.

Bloquear add-to-cart= é seguro, pois aciona uma ação em vez de servir conteúdo exclusivo.

Faça o mesmo para os filtros de classificação e faixa de preço, com uma exceção – um filtro que gera tráfego de pesquisa por si só, como um tamanho ou cor popular.

Desindexe conteúdo fino – Arquivos de tags, datas e autores

Desindexar significa remover uma página dos resultados de pesquisa do Google. Você faz isso adicionando uma tag noindex, que solicita aos mecanismos de pesquisa que não mostrem essa página quando as pessoas pesquisarem.

O WordPress cria automaticamente páginas de arquivo que agrupam suas postagens por tag, data e autor. Esses arquivos repetem a maior parte do conteúdo que já existe em seu site, é por isso que especialistas em SEO os chamam de páginas ‘thin’.

Aqui estão quatro tipos de arquivos que geralmente podem ser desindexados com segurança:

• Arquivos de autor, se o seu site tiver um único escritor
• Arquivos de tags que não funcionam como páginas de destino reais
• Arquivos de data, que raramente têm algum valor de pesquisa por si só
• Páginas de anexo, que sites WordPress mais antigos criam para cada imagem carregada (o WordPress 6.4 parou de criá-las para novas instalações em novembro de 2023)

Você pode definir cada um dos tipos de arquivo para noindex nas configurações de arquivo do seu plugin de SEO. A maioria dos plugins de SEO do WordPress inclui essa configuração em suas versões gratuitas.

No AIOSEO, você o encontrará em All in One SEO » Aparência de Pesquisa » Arquivos.

Antes de salvar, verifique se você não desindexou acidentalmente uma página importante ou um tipo de postagem inteiro.

Mantenha seu sitemap XML limpo

Seu sitemap XML informa ao Google quais URLs você considera importantes e recentes. Ao manter seu sitemap livre de desordem, você garante que os mecanismos de pesquisa se concentrem em seu conteúdo mais valioso, em vez de perder tempo com arquivos paginados.

Por padrão, o WordPress cria um sitemap XML para o seu site. Para mais controle, recomendamos gerar um sitemap personalizado com um plugin de SEO.

Um sitemap personalizado adiciona datas de última modificação e remove dele as páginas que você definiu como noindex. AIOSEO, Yoast SEO e Rank Math permitem que você crie um sitemap em suas versões gratuitas.

Corrija erros de rastreamento e cadeias de redirecionamento

URLs mortos e redirecionados ainda consomem suas solicitações de rastreamento porque o Google só descobre que um URL está morto ao buscá-lo. Em um site WordPress típico, essas solicitações de rastreamento desperdiçadas geralmente vêm de três culpados principais:

• Cadeias de redirecionamento. Isso acontece quando o URL A redireciona para B, que por sua vez redireciona para C. Para corrigir isso, encurte a cadeia roteando o URL original diretamente para o destino final com um único redirecionamento 301 (permanente).
• Erros de Soft 404. Isso ocorre quando uma página é removida, mas seu servidor ainda retorna um código de status normal de sucesso “200 OK”. O Google continuará rastreando o URL porque o servidor não indicou explicitamente que o conteúdo foi removido. Você pode corrigir isso garantindo que as páginas excluídas retornem um código de status 404 (Não Encontrado) ou 410 (Ausente) apropriado.
• Links internos desatualizados. Cada vez que o Google segue um link interno que leva a uma página quebrada ou a um redirecionamento, ele consome seu orçamento de rastreamento. Você deve auditar regularmente seus links internos e removê-los ou atualizá-los para apontar diretamente para o URL final ativo.

Você também pode ler nosso guia sobre como criar um redirecionamento no WordPress, que o orienta em todo o processo.

Acelere seu servidor para aumentar sua taxa de rastreamento

Um servidor rápido incentiva o Google a rastrear mais páginas, enquanto um servidor com dificuldades o força a recuar. Para melhorar seus tempos de resposta, você precisa de duas coisas: uma hospedagem WordPress robusta e uma configuração de cache ativa.

No entanto, erros de servidor podem prejudicar seu orçamento de rastreamento ainda mais do que a velocidade da sua página. Se o Googlebot atingir tempos limite com frequência, ele reduz drasticamente o rastreamento e demora a se recuperar.

Você pode monitorar tempos de resposta e erros de servidor no relatório de Estatísticas de Rastreamento do Google Search Console. Os erros geralmente são causados por um plano de hospedagem no limite ou um plugin com defeito.

Veja nosso guia para corrigir erros internos de servidor 500 para obter ajuda com logs de erros e limites de hospedagem.

Bloqueie rastreadores de IA que desperdiçam seus recursos de servidor

Crawlers de IA como GPTBot, ClaudeBot e PerplexityBot não usam seu orçamento de rastreamento do Google. No entanto, eles acessam o mesmo servidor, e a raspagem agressiva pode desacelerar seu site o suficiente para prejudicar sua taxa de rastreamento do Google.

A solução mais rápida para corrigir esse problema é a limpeza de rastreamento que vem com a maioria dos plugins de SEO. O Crawl Cleanup da AIOSEO inclui configurações de bloqueio de bots que impedem bots de IA indesejados no nível do WordPress.

Para uma proteção mais forte, o AI Crawl Control gratuito da Cloudflare permite que você bloqueie crawlers individuais na guia Crawlers. Ele bloqueia os crawlers antes mesmo que eles cheguem ao seu servidor de hospedagem.

No entanto, tenha cuidado ao configurar sua lista de bloqueio. Muitos desses 'bots' podem ser assistentes de pesquisa de IA que geram tráfego para o seu site, portanto, bloqueá-los indiscriminadamente prejudicará sua visibilidade geral.

Perguntas frequentes sobre o orçamento de rastreamento do WordPress

Aqui estão as perguntas que recebemos com mais frequência sobre orçamento de rastreamento.

Você pode definir ou aumentar seu orçamento de rastreamento?

Não há um número fixo que você possa definir. Você pode aumentar sua capacidade de rastreamento com um servidor mais rápido e confiável, e pode aumentar a demanda de rastreamento com conteúdo novo e não duplicado que o Google realmente deseja revisitar.

Como impedir que o Google rastreie os URLs /feed/ que aparecem como duplicados no Search Console?

Desative os feeds redundantes com o Crawl Cleanup da AIOSEO ou adicione uma regra Disallow para os URLs de feed ao seu robots.txt. Esse conteúdo já está indexado em outro lugar do seu site, portanto, bloquear os feeds não lhe custa nada em termos de tráfego orgânico.

A tag noindex economiza orçamento de rastreamento?

Não diretamente, pois o Google ainda precisa rastrear a página para ver a tag. Em vez disso, impeça o Google de rastrear por meio de um arquivo robots.txt.

Uma página 404 personalizada com links úteis melhorará meu orçamento de rastreamento?

Não, mas melhora a experiência do usuário. Para garantir que o orçamento de rastreamento não seja desperdiçado, certifique-se de que seu servidor envie o código de status 404 ou 410 correto para uma página que não existe mais.

Esperamos que este artigo tenha ajudado você a encontrar e corrigir o que está desperdiçando seu orçamento de rastreamento. Dê algumas semanas às alterações e, em seguida, verifique novamente as Estatísticas de Rastreamento para ver a melhoria.

Você também pode querer ler nosso guia definitivo de SEO para WordPress ou como impedir que mecanismos de busca rastreiem um site WordPress.

Se você gostou deste artigo, por favor, inscreva-se em nosso Canal do YouTube para tutoriais em vídeo do WordPress. Você também pode nos encontrar no Twitter e no Facebook.