Seu site WordPress já possui um arquivo robots.txt e ele está tomando decisões sobre o que os rastreadores de mecanismos de busca podem acessar, quer você já o tenha alterado ou não.
A maioria dessas decisões são inofensivas. Mas uma única regra mal escolhida também pode impedir que os rastreadores acessem URLs que você realmente deseja que eles descubram.
Neste guia, mostraremos o que seu arquivo robots.txt está fazendo no momento e como editá-lo sem tocar no código.
Aqui está tudo o que cobriremos neste guia:
O que é um arquivo robots.txt?
Robots.txt é um arquivo de texto simples que informa aos bots dos motores de busca quais partes do seu site eles podem rastrear.
O arquivo fica no diretório raiz (a pasta principal) do seu site. O formato básico se parece com isto:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Você pode adicionar quantas regras e sitemaps precisar. Se você não proibir uma URL, os bots assumirão que podem rastreá-la.
Seu site funciona bem sem um arquivo robots.txt quando você começa um blog. No entanto, à medida que seu conteúdo cresce, este arquivo se torna mais útil.
Os motores de busca dão a cada site um orçamento de rastreamento, que é o número de páginas que eles rastrearão em um determinado período. Ao bloquear páginas sem importância, você ajuda os bots a gastar esse orçamento no conteúdo que você deseja nos resultados de pesquisa.
Isso é mais importante para sites grandes com milhares de páginas.
Lembre-se de que robots.txt ajuda você a controlar o rastreamento, não a indexação.
- Rastreamento é quando os bots dos motores de busca (como o Googlebot) visitam seu site para descobrir seu conteúdo.
- Indexação é quando eles adicionam esse conteúdo ao seu banco de dados massivo de pesquisa para que ele possa aparecer nos resultados de pesquisa.
Pense nisso como um bibliotecário lendo um novo livro (rastreamento) e depois adicionando-o ao catálogo da biblioteca (indexação).
Em outras palavras, robots.txt também não é uma boa maneira de ocultar conteúdo, pois uma página proibida ainda pode aparecer nos resultados de pesquisa se outros sites a vincularem. Para manter uma página fora do Google de forma confiável, use uma meta tag 'noindex' em vez disso. Isso informa aos motores de busca para não listar a página.
Exemplos e Melhores Práticas de Robots.txt
Para a maioria dos sites WordPress, você pode manter seu arquivo robots.txt bem simples. Aqui está a configuração básica que recomendamos:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aqui está o que cada regra faz:
Allow: /wp-content/uploads/permite que os motores de busca rastreiem suas imagens e outros arquivos enviados para sua biblioteca de mídia do WordPress.Allow: /wp-admin/admin-ajax.phpmantém o manipulador AJAX do WordPress acessível. Temas e plugins podem usar este arquivo para carregar ou atualizar conteúdo sem recarregar a página.Disallow: /wp-admin/impede que os rastreadores acessem sua área de administração do WordPress, que não contém conteúdo que você deseja que apareça nos resultados de pesquisa.Disallow: /readme.htmlimpede que os rastreadores acessem o arquivoreadme.htmlpadrão do WordPress. Este arquivo não é útil para os motores de busca, então há pouca razão para eles rastreá-lo.Disallow: /refer/impede que os rastreadores sigam URLs de afiliados ou outros redirecionamentos que usam o prefixo/refer/. Se o seu site usa um prefixo diferente para esses links, substitua/refer/pelo seu.Disallow: /?s=impede que os rastreadores solicitem URLs de pesquisa internas do WordPress. Essas páginas geralmente não são páginas de destino úteis para os motores de busca e podem criar muitos URLs desnecessários para rastrear.Sitemapinforma aos mecanismos de busca onde encontrar seus sitemaps XML. Isso facilita a descoberta das URLs que você deseja que eles rastreiem.
Estes são os mesmos tipos básicos de regras que usamos no WPBeginner. Você pode ver nosso arquivo em tempo real em wpbeginner.com/robots.txt. Nosso arquivo de produção contém regras adicionais para um site muito maior, mas os princípios básicos são os mesmos.
Lembre-se de que usar o caractere curinga * se aplica a todos os rastreadores.
Por exemplo, esta regra impede que o Googlebot rastreie a pasta /private/:
User-agent: Googlebot
Disallow: /private/
Nomes comuns de user agent incluem Googlebot (Google), Bingbot (Bing) e Baiduspider (Baidu).
Como Criar um Arquivo Robots.txt no WordPress
Existem duas maneiras de criar um arquivo robots.txt no WordPress. Você pode escolher o método que funciona melhor para você.
Método 1: Editando o Arquivo Robots.txt Usando All in One SEO
A maioria dos plugins gratuitos de SEO para WordPress, como All in One SEO (AIOSEO), Yoast ou Rank Math, permite que você personalize seu arquivo robots.txt diretamente do seu painel do WordPress.
Usamos o AIOSEO no WPBeginner. A versão gratuita do AIOSEO ajuda você a validar sua regra do robots.txt enquanto digita, o que permite capturar erros de sintaxe antes que ela seja publicada.
Depois que o plugin estiver ativo, simplesmente vá para All in One SEO » Ferramentas no seu painel do WordPress. Você será direcionado para o Editor de Robots.txt. Ative o botão 'Ativar Robots.txt Personalizado' para começar a editar.
O editor mostra as regras padrão que o WordPress gera por conta própria.
Agora você pode adicionar suas próprias regras. Insira um user agent no campo 'User Agent' ou use * para aplicar a regra a todos os bots.
Em seguida, escolha 'Allow' ou 'Disallow' na coluna Directive e digite o caminho do arquivo ou pasta no campo 'Value'. Para adicionar outra regra, clique no botão 'Add Rule'.
Você pode verificar seu arquivo finalizado na 'Custom Robots.txt Preview' na parte inferior da tela. Ele mostra o arquivo completo exatamente como os bots o verão.
Quando terminar, clique no botão 'Save Changes' para salvar suas regras.
Método 2: Editando o Arquivo Robots.txt Manualmente Usando FTP
Se preferir editar seu arquivo robots.txt diretamente, siga este método. Para editar o arquivo, você precisará usar um cliente FTP ou o gerenciador de arquivos no painel de hospedagem do seu WordPress.
Antes de editar qualquer coisa, baixe uma cópia de backup do seu arquivo robots.txt atual para o seu computador. Dessa forma, você pode restaurá-lo se algo der errado.
Primeiro, conecte seu cliente FTP ao seu site WordPress e encontre o arquivo robots.txt na pasta raiz do seu site.
Se você não vir um, seu site ainda não tem um arquivo robots.txt. Você pode criá-lo ali mesmo.
Robots.txt é um arquivo de texto simples. Você pode baixá-lo, editá-lo em qualquer editor de texto simples como o Bloco de Notas ou TextEdit, e enviá-lo de volta para sua pasta raiz.
Como Testar Seu Arquivo Robots.txt
Após criar ou editar seu arquivo robots.txt, sempre verifique se há erros. Um pequeno erro de digitação pode impedir que páginas importantes sejam rastreadas pelos mecanismos de busca, e você pode não perceber por semanas.
A maneira mais fácil de testar seu arquivo robots.txt em busca de erros é com o Google Search Console.
Primeiro, certifique-se de que seu site está conectado ao Google Search Console. Se não estiver, siga nosso guia sobre como adicionar seu site WordPress ao Google Search Console.
Em seguida, vá para o painel do Search Console e abra Configurações no menu inferior esquerdo. Encontre a seção ‘Rastreamento’ e clique em ‘Abrir Relatório’ ao lado de ‘robots.txt’.
Clique na versão atual do arquivo na lista. O relatório mostra o robots.txt mais recente que o Google encontrou e destaca quaisquer erros de sintaxe ou problemas lógicos que ele detectou.
Se você acabou de atualizar seu arquivo e as alterações não estão aparecendo, espere um dia e verifique novamente.
Perguntas Frequentes sobre robots.txt do WordPress
Aqui estão as perguntas mais comuns que os leitores nos fazem sobre a otimização do arquivo robots.txt no WordPress.
1. O uso do robots.txt pode melhorar a segurança do meu site?
Não, o robots.txt não é uma medida de segurança. O arquivo é visível publicamente, portanto, ele não impede ninguém de acessar os URLs que você lista. Ele simplesmente fornece diretivas para rastreadores de mecanismos de busca bem-comportados.
2. Devo bloquear as páginas de categorias e tags do WordPress no robots.txt?
Não, você não deve bloquear páginas de categorias e tags. Essas páginas de arquivo carregam links internos que os rastreadores seguem para alcançar seus posts mais antigos, portanto, bloqueá-las remove um caminho de descoberta para o conteúdo que você deseja indexar.
3. Qual é a diferença entre robots.txt e a tag noindex?
Eles controlam coisas diferentes. O robots.txt controla se um rastreador pode visitar um URL. A tag noindex controla se os mecanismos de pesquisa listam uma página nos resultados de pesquisa, mesmo que já a tenham visitado.
Use robots.txt para bloquear rastreadores de áreas como seu painel de administração, ambiente de staging ou diretórios de plugins. Use noindex para páginas que você não se importa que o Google rastreie, como páginas de arquivo filtradas ou páginas de agradecimento, que você simplesmente não quer que apareçam nos resultados de pesquisa.
Esperamos que este artigo tenha ajudado você a otimizar seu arquivo robots.txt do WordPress para SEO. Você também pode querer ver nosso guia definitivo de SEO para WordPress e nossas escolhas especializadas para as melhores ferramentas de SEO para WordPress para expandir seu site.
Se você gostou deste artigo, por favor, inscreva-se em nosso Canal do YouTube para tutoriais em vídeo do WordPress. Você também pode nos encontrar no Twitter e no Facebook.
Dennis Muthomi
Tenho que admitir, eu uso o plugin AIOSEO, mas sempre ignorei a opção “Habilitar robots.txt personalizado” porque não queria estragar nada.
Mas eu li este artigo e estou convencido de que vale a pena dedicar tempo para otimizar o arquivo robots.txt do meu site.
Amit Banerjee
Se o template completo do robots.txt tivesse sido fornecido, teria sido útil.
WPBeginner Support
Nós incluímos o robots.txt completo
Admin
Michael
Acho que você deveria modificar sua resposta. Deveria ser https em vez de http. É certo proibir também os arquivos de plugins?
WPBeginner Support
Obrigado por apontar isso, nossa amostra foi atualizada. Para proibir plugins, você deve verificar com o plugin específico para ter certeza.
Moinuddin Waheed
Obrigado por esta postagem informativa sobre o arquivo robots.txt.
Eu não sabia que os sites deveriam manter este arquivo para ter controle sobre os bots do Google sobre como eles devem rastrear nossas páginas e postagens.
para sites iniciantes que estão começando, há necessidade de ter um arquivo robots.txt ou existe uma maneira como um plugin que pode criar um arquivo robots.txt para o nosso site?
WPBeginner Support
A maioria dos plugins de SEO ajuda na configuração do robots.txt para um novo site para evitar que os bots percorram seções que não deveriam.
Admin
Jiří Vaněk
Graças a este artigo, verifiquei o arquivo robots.txt e adicionei endereços de URL com sitemaps. Ao mesmo tempo, tinha outras linhas problemáticas lá, que foram reveladas pelo validador. Eu não conhecia sitemaps em robots.txt até agora. Obrigado.
WPBeginner Support
De nada, fico feliz que nosso guia pôde ajudar!
Admin
Stéphane
Olá,
Obrigado por essa postagem, fica mais claro como usar o arquivo robots.txt. Na maioria dos sites que você encontra ao procurar algum conselho sobre o arquivo robots.txt, você pode ver que as seguintes pastas são explicitamente excluídas do rastreamento (para WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Eu não entendo realmente as razões para excluir essas pastas (há alguma, na verdade?). Qual seria sua opinião sobre esse assunto?
WPBeginner Support
É principalmente para evitar que qualquer coisa nessas pastas apareça como resultado quando um usuário pesquisa seu site. Como esse não é o seu conteúdo, não é algo que a maioria das pessoas gostaria que aparecesse nos resultados do site.
Admin
zaid haris
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
O GSC mostra o erro de cobertura para “Disallow: /wp-admin/”. Isso está errado?
WPBeginner Support
Para a maioria dos sites, você não quer que nada do seu wp-admin apareça como resultado de pesquisa, então é normal e esperado receber a área de cobertura quando você nega ao Google a capacidade de rastrear seu wp-admin.
Admin
Hansini
Estou criando meu robots.txt manualmente como você instruiu para o meu site WordPress.
Tenho uma dúvida. quando eu escrevo User-Agent: * não vai permitir que outro robô de spam acesse meu site?
Devo escrever User-Agent: * ou User-Agent: Googlebot.?
WPBeginner Support
A linha User-Agent define as regras que todos os robôs devem seguir em seu site. Se você especificar um bot específico nessa linha, ele definirá regras para esse bot específico e nenhum outro.
Admin
Nishant
O que devemos escrever para que o Google indexe meu post?
WPBeginner Support
Para ter seu site listado, você vai querer dar uma olhada em nosso artigo abaixo:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Admin
Sanjeev Pandey
devemos também proibir /wp-content/themes/ ?
Ele está aparecendo nos resultados de pesquisa quando executo o comando site:abcdef.com no Google Search
WPBeginner Support
Você não vai querer se preocupar em bloquear sua pasta de temas e, à medida que escreve conteúdo otimizado para SEO, não deverá mais ver os temas como resultado de pesquisa.
Admin
Salem
Olá, o que significa ” Disallow: /readme.html & Disallow: /refer/ ” ?
WPBeginner Support
Isso significa que você está dizendo aos mecanismos de busca para não olharem nenhum link de referência ou o arquivo readme.html.
Admin
sean
Olá, quais são os prós e contras de bloquear wp-content/uploads
Obrigado
WPBeginner Support
Se você bloquear sua pasta de uploads, os mecanismos de busca normalmente não rastrearão seu conteúdo carregado, como imagens.
Admin
Piyush
obrigado por resolver meu problema
WPBeginner Support
De nada
Admin
Ravi kumar
Senhor, estou muito confuso sobre o robot.txt, muitas vezes enviei o sitemap no Blogger, mas depois de 3, 4 dias o mesmo problema surge, o que é exatamente o robot.txt.. & como enviá-lo, por favor, me guie
WPBeginner Support
Dependeria do seu problema específico, você pode querer dar uma olhada em nossa página abaixo:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Admin
Prem
Se eu não indexar uma URL ou página usando o arquivo robots.txt, o Google mostrará algum erro no Search Console?
WPBeginner Support
Não, o Google não listará a página, mas se a página estiver listada, não mostrará um erro.
Admin
Bharat
Olá
Tenho uma pergunta
Recebi um aviso de problema de cobertura do Google Search Console sobre bloqueado por robots.txt
/wp-admin/widgets.php
Minha pergunta é, posso permitir que wp-admin/widgets.php seja incluído no robots.txt e isso é seguro?
WPBeginner Support
Se você quisesse, poderia, mas esse não é um arquivo que o Google precisa rastrear.
Admin
Anthony
Olá, estou me perguntando se você deveria permitir: /wp-admin/admin-ajax.php?
WPBeginner Support
Normalmente, sim, você deveria.
Admin
Jaira
Posso saber por que você deveria permitir /wp-admin/admin-ajax.php?
WPBeginner Support
Ele é usado por diferentes temas e plugins para aparecer corretamente para os mecanismos de busca.
Amila
Olá! Gostei muito deste artigo e, como sou iniciante em tudo isso de rastreamento, gostaria de perguntar algo a respeito. Recentemente, o Google rastreou e indexou um dos meus sites de uma maneira terrível, mostrando as páginas nos resultados de pesquisa que foram excluídas do site. O site não havia desativado a indexação pelos mecanismos de busca nas configurações do WordPress no início, mas o fez mais tarde, depois que o Google mostrou mais 3 páginas nos resultados de pesquisa (essas páginas também não existem) e eu realmente não entendo como isso pôde acontecer com a opção "desativar indexação pelos mecanismos de busca" ativada. Então, o método Yoast pode ser útil e resolver o problema do meu site para que o Google indexe meu site da maneira apropriada desta vez? Agradeço antecipadamente!
WPBeginner Support
O plugin Yoast deve ser capaz de ajudar a garantir que as páginas que você tem sejam indexadas corretamente; há uma chance de que, antes de você desativar a indexação pelos mecanismos de busca em seu site, sua página tenha sido armazenada em cache.
Admin
Amila
Sim, e de todas as páginas, ele armazenou em cache aquelas que não existem mais. De qualquer forma, como a página atual está configurada para “desencorajar”, é melhor mantê-la assim por enquanto ou desmarcar a caixa e deixar o Google rastrear e indexar novamente com a ajuda do Yoast? Obrigado! Com seus artigos, tudo ficou mais fácil!
WPBeginner Support
Você vai querer que o Google rastreie seu site novamente assim que ele for configurado como você deseja.
Pradhuman Kumar
Oi, adorei o artigo, muito preciso e perfeito.
Apenas uma pequena sugestão, por favor, atualize a imagem do testador ROBOTS.txt, pois o Google Console mudou e seria ótimo se você adicionasse o link para verificar o robots.txt do Google.
WPBeginner Support
Obrigado pelo feedback, com certeza vamos analisar a atualização do artigo assim que possível.
Admin
Kamaljeet Singh
O arquivo robots.txt do meu blog era:
User-Agent: *
crawl-delay: 10
Depois de ler este post, eu o alterei para o seu arquivo robots.txt recomendado. Tudo bem se eu removi o crawl-delay
WPBeginner Support
Deve ficar tudo bem, crawl-delay diz aos mecanismos de busca para diminuir a velocidade com que rastreiam seu site.
Admin
reena
Muito bem descrito sobre robot.text, estou muito feliz
você é um ótimo escritor
WPBeginner Support
Obrigado, fico feliz que você tenha gostado do nosso artigo
Admin
JJ
O que é a página Disallow: /refer/ ? Recebo um 404, é um arquivo wp oculto?
Equipe Editorial
Usamos /refer/ para redirecionar para vários links de afiliados em nosso site. Não queremos que eles sejam indexados, pois são apenas redirecionamentos e não conteúdo real.
Admin
Sagar Arakh
Obrigado por compartilhar. Isso foi realmente útil para eu entender robots.txt
Eu atualizei meu robots.txt para o ideal que você sugeriu. aguardarei os resultados agora
WPBeginner Support
De nada, fico feliz que você esteja disposto a usar nossas recomendações
Admin
Akash Gogoi
Artigo muito útil. Muito obrigado.
WPBeginner Support
Fico feliz que nosso artigo foi útil
Admin
Zingylancer
Obrigado por compartilhar esta informação útil sobre nós.
WPBeginner Support
Ficamos felizes em poder compartilhar essas informações sobre o arquivo robots.txt
Admin
Jasper
obrigado por me atualizar com informações. Seu artigo foi bom para o arquivo Robot txt. Ele me deu uma nova informação. obrigado e mantenha-me atualizado com novas ideias.
WPBeginner Support
Ficamos felizes que nosso guia tenha sido útil
Admin
Imran
Obrigado, adicionei robots.txt no WordPress. Ótimo artigo
WPBeginner Support
Obrigado, fico feliz que nosso artigo tenha sido útil
Admin