Seu site WordPress já possui um arquivo robots.txt e ele está tomando decisões sobre o que os rastreadores de mecanismos de busca podem acessar, quer você já o tenha alterado ou não.
A maioria dessas decisões são inofensivas. Mas uma única regra mal escolhida também pode impedir que os rastreadores acessem URLs que você realmente deseja que eles descubram.
Neste guia, mostraremos o que seu arquivo robots.txt está fazendo no momento e como editá-lo sem tocar no código.
Aqui está tudo o que cobriremos neste guia:
O que é um arquivo robots.txt?
Robots.txt é um arquivo de texto simples que informa aos bots dos motores de busca quais partes do seu site eles podem rastrear.
O arquivo fica no diretório raiz (a pasta principal) do seu site. O formato básico se parece com isto:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Você pode adicionar quantas regras e sitemaps precisar. Se você não proibir uma URL, os bots assumirão que podem rastreá-la.
Seu site funciona bem sem um arquivo robots.txt quando você começa um blog. No entanto, à medida que seu conteúdo cresce, este arquivo se torna mais útil.
Os motores de busca dão a cada site um orçamento de rastreamento, que é o número de páginas que eles rastrearão em um determinado período. Ao bloquear páginas sem importância, você ajuda os bots a gastar esse orçamento no conteúdo que você deseja nos resultados de pesquisa.
Isso é mais importante para sites grandes com milhares de páginas.
Lembre-se de que robots.txt ajuda você a controlar o rastreamento, não a indexação.
- Rastreamento é quando os bots dos motores de busca (como o Googlebot) visitam seu site para descobrir seu conteúdo.
- Indexação é quando eles adicionam esse conteúdo ao seu banco de dados massivo de pesquisa para que ele possa aparecer nos resultados de pesquisa.
Pense nisso como um bibliotecário lendo um novo livro (rastreamento) e depois adicionando-o ao catálogo da biblioteca (indexação).
Em outras palavras, robots.txt também não é uma boa maneira de ocultar conteúdo, pois uma página proibida ainda pode aparecer nos resultados de pesquisa se outros sites a vincularem. Para manter uma página fora do Google de forma confiável, use uma meta tag 'noindex' em vez disso. Isso informa aos motores de busca para não listar a página.
Exemplos e Melhores Práticas de Robots.txt
Para a maioria dos sites WordPress, você pode manter seu arquivo robots.txt bem simples. Aqui está a configuração básica que recomendamos:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aqui está o que cada regra faz:
Allow: /wp-content/uploads/permite que os motores de busca rastreiem suas imagens e outros arquivos enviados para sua biblioteca de mídia do WordPress.Allow: /wp-admin/admin-ajax.phpmantém o manipulador AJAX do WordPress acessível. Temas e plugins podem usar este arquivo para carregar ou atualizar conteúdo sem recarregar a página.Disallow: /wp-admin/impede que os rastreadores acessem sua área de administração do WordPress, que não contém conteúdo que você deseja que apareça nos resultados de pesquisa.Disallow: /readme.htmlimpede que os rastreadores acessem o arquivoreadme.htmlpadrão do WordPress. Este arquivo não é útil para os motores de busca, então há pouca razão para eles rastreá-lo.Disallow: /refer/impede que os rastreadores sigam URLs de afiliados ou outros redirecionamentos que usam o prefixo/refer/. Se o seu site usa um prefixo diferente para esses links, substitua/refer/pelo seu.Disallow: /?s=impede que os rastreadores solicitem URLs de pesquisa internas do WordPress. Essas páginas geralmente não são páginas de destino úteis para os motores de busca e podem criar muitos URLs desnecessários para rastrear.Sitemapinforma aos mecanismos de busca onde encontrar seus sitemaps XML. Isso facilita a descoberta das URLs que você deseja que eles rastreiem.
Estes são os mesmos tipos básicos de regras que usamos no WPBeginner. Você pode ver nosso arquivo em tempo real em wpbeginner.com/robots.txt. Nosso arquivo de produção contém regras adicionais para um site muito maior, mas os princípios básicos são os mesmos.
Lembre-se de que usar o caractere curinga * se aplica a todos os rastreadores.
Por exemplo, esta regra impede que o Googlebot rastreie a pasta /private/:
User-agent: Googlebot
Disallow: /private/
Nomes comuns de user agent incluem Googlebot (Google), Bingbot (Bing) e Baiduspider (Baidu).
Como Criar um Arquivo Robots.txt no WordPress
Existem duas maneiras de criar um arquivo robots.txt no WordPress. Você pode escolher o método que funciona melhor para você.
Método 1: Editando o Arquivo Robots.txt Usando All in One SEO
A maioria dos plugins gratuitos de SEO para WordPress, como All in One SEO (AIOSEO), Yoast ou Rank Math, permite que você personalize seu arquivo robots.txt diretamente do seu painel do WordPress.
Usamos o AIOSEO no WPBeginner. A versão gratuita do AIOSEO ajuda você a validar sua regra do robots.txt enquanto digita, o que permite capturar erros de sintaxe antes que ela seja publicada.
Depois que o plugin estiver ativo, simplesmente vá para All in One SEO » Ferramentas no seu painel do WordPress. Você será direcionado para o Editor de Robots.txt. Ative o botão 'Ativar Robots.txt Personalizado' para começar a editar.
O editor mostra as regras padrão que o WordPress gera por conta própria.
Agora você pode adicionar suas próprias regras. Insira um user agent no campo 'User Agent' ou use * para aplicar a regra a todos os bots.
Em seguida, escolha 'Allow' ou 'Disallow' na coluna Directive e digite o caminho do arquivo ou pasta no campo 'Value'. Para adicionar outra regra, clique no botão 'Add Rule'.
Você pode verificar seu arquivo finalizado na 'Custom Robots.txt Preview' na parte inferior da tela. Ele mostra o arquivo completo exatamente como os bots o verão.
Quando terminar, clique no botão 'Save Changes' para salvar suas regras.
Método 2: Editando o Arquivo Robots.txt Manualmente Usando FTP
Se preferir editar seu arquivo robots.txt diretamente, siga este método. Para editar o arquivo, você precisará usar um cliente FTP ou o gerenciador de arquivos no painel de hospedagem do seu WordPress.
Antes de editar qualquer coisa, baixe uma cópia de backup do seu arquivo robots.txt atual para o seu computador. Dessa forma, você pode restaurá-lo se algo der errado.
Primeiro, conecte seu cliente FTP ao seu site WordPress e encontre o arquivo robots.txt na pasta raiz do seu site.
Se você não vir um, seu site ainda não tem um arquivo robots.txt. Você pode criá-lo ali mesmo.
Robots.txt é um arquivo de texto simples. Você pode baixá-lo, editá-lo em qualquer editor de texto simples como o Bloco de Notas ou TextEdit, e enviá-lo de volta para sua pasta raiz.
Como Testar Seu Arquivo Robots.txt
Após criar ou editar seu arquivo robots.txt, sempre verifique se há erros. Um pequeno erro de digitação pode impedir que páginas importantes sejam rastreadas pelos mecanismos de busca, e você pode não perceber por semanas.
A maneira mais fácil de testar seu arquivo robots.txt em busca de erros é com o Google Search Console.
Primeiro, certifique-se de que seu site está conectado ao Google Search Console. Se não estiver, siga nosso guia sobre como adicionar seu site WordPress ao Google Search Console.
Em seguida, vá para o painel do Search Console e abra Configurações no menu inferior esquerdo. Encontre a seção ‘Rastreamento’ e clique em ‘Abrir Relatório’ ao lado de ‘robots.txt’.
Clique na versão atual do arquivo na lista. O relatório mostra o robots.txt mais recente que o Google encontrou e destaca quaisquer erros de sintaxe ou problemas lógicos que ele detectou.
Se você acabou de atualizar seu arquivo e as alterações não estão aparecendo, espere um dia e verifique novamente.
Perguntas Frequentes sobre robots.txt do WordPress
Aqui estão as perguntas mais comuns que os leitores nos fazem sobre a otimização do arquivo robots.txt no WordPress.
1. O uso do robots.txt pode melhorar a segurança do meu site?
Não, o robots.txt não é uma medida de segurança. O arquivo é visível publicamente, portanto, ele não impede ninguém de acessar os URLs que você lista. Ele simplesmente fornece diretivas para rastreadores de mecanismos de busca bem-comportados.
2. Devo bloquear as páginas de categorias e tags do WordPress no robots.txt?
Não, você não deve bloquear páginas de categorias e tags. Essas páginas de arquivo carregam links internos que os rastreadores seguem para alcançar seus posts mais antigos, portanto, bloqueá-las remove um caminho de descoberta para o conteúdo que você deseja indexar.
3. Qual é a diferença entre robots.txt e a tag noindex?
Eles controlam coisas diferentes. O robots.txt controla se um rastreador pode visitar um URL. A tag noindex controla se os mecanismos de pesquisa listam uma página nos resultados de pesquisa, mesmo que já a tenham visitado.
Use robots.txt para bloquear rastreadores de áreas como seu painel de administração, ambiente de staging ou diretórios de plugins. Use noindex para páginas que você não se importa que o Google rastreie, como páginas de arquivo filtradas ou páginas de agradecimento, que você simplesmente não quer que apareçam nos resultados de pesquisa.
Esperamos que este artigo tenha ajudado você a otimizar seu arquivo robots.txt do WordPress para SEO. Você também pode querer ver nosso guia definitivo de SEO para WordPress e nossas escolhas especializadas para as melhores ferramentas de SEO para WordPress para expandir seu site.
Se você gostou deste artigo, por favor, inscreva-se em nosso Canal do YouTube para tutoriais em vídeo do WordPress. Você também pode nos encontrar no Twitter e no Facebook.
Dennis Muthomi
Tenho que admitir, eu uso o plugin AIOSEO, mas sempre ignorei a opção “Habilitar robots.txt personalizado” porque não queria estragar nada.
Mas eu li este artigo e estou convencido de que vale a pena dedicar tempo para otimizar o arquivo robots.txt do meu site.
Amit Banerjee
Se o template completo do robots.txt tivesse sido fornecido, teria sido útil.
WPBeginner Support
Nós incluímos o robots.txt completo
Admin
Michael
Acho que você deveria modificar sua resposta. Deveria ser https em vez de http. É certo proibir também os arquivos de plugins?
WPBeginner Support
Obrigado por apontar isso, nossa amostra foi atualizada. Para proibir plugins, você deve verificar com o plugin específico para ter certeza.
Moinuddin Waheed
Obrigado por esta postagem informativa sobre o arquivo robots.txt.
Eu não sabia que os sites deveriam manter este arquivo para ter controle sobre os bots do Google sobre como eles devem rastrear nossas páginas e postagens.
para sites iniciantes que estão começando, há necessidade de ter um arquivo robots.txt ou existe uma maneira como um plugin que pode criar um arquivo robots.txt para o nosso site?
WPBeginner Support
A maioria dos plugins de SEO ajuda na configuração do robots.txt para um novo site para evitar que os bots percorram seções que não deveriam.
Admin
Jiří Vaněk
Graças a este artigo, verifiquei o arquivo robots.txt e adicionei endereços de URL com sitemaps. Ao mesmo tempo, tinha outras linhas problemáticas lá, que foram reveladas pelo validador. Eu não conhecia sitemaps em robots.txt até agora. Obrigado.
WPBeginner Support
De nada, fico feliz que nosso guia pôde ajudar!
Admin
Stéphane
Olá,
Obrigado por essa postagem, fica mais claro como usar o arquivo robots.txt. Na maioria dos sites que você encontra ao procurar algum conselho sobre o arquivo robots.txt, você pode ver que as seguintes pastas são explicitamente excluídas do rastreamento (para WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Eu não entendo realmente as razões para excluir essas pastas (há alguma, na verdade?). Qual seria sua opinião sobre esse assunto?
WPBeginner Support
É principalmente para evitar que qualquer coisa nessas pastas apareça como resultado quando um usuário pesquisa seu site. Como esse não é o seu conteúdo, não é algo que a maioria das pessoas gostaria que aparecesse nos resultados do site.
Admin
zaid haris
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
O GSC mostra o erro de cobertura para “Disallow: /wp-admin/”. Isso está errado?
WPBeginner Support
Para a maioria dos sites, você não quer que nada do seu wp-admin apareça como resultado de pesquisa, então é normal e esperado receber a área de cobertura quando você nega ao Google a capacidade de rastrear seu wp-admin.
Admin
Hansini
Estou criando meu robots.txt manualmente como você instruiu para o meu site WordPress.
Tenho uma dúvida. quando eu escrevo User-Agent: * não vai permitir que outro robô de spam acesse meu site?
Devo escrever User-Agent: * ou User-Agent: Googlebot.?
WPBeginner Support
A linha User-Agent define as regras que todos os robôs devem seguir em seu site. Se você especificar um bot específico nessa linha, ele definirá regras para esse bot específico e nenhum outro.
Admin
Nishant
O que devemos escrever para que o Google indexe meu post?
WPBeginner Support
Para ter seu site listado, você vai querer dar uma olhada em nosso artigo abaixo:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Admin
Sanjeev Pandey
devemos também proibir /wp-content/themes/ ?
Ele está aparecendo nos resultados de pesquisa quando executo o comando site:abcdef.com no Google Search
WPBeginner Support
Você não vai querer se preocupar em bloquear sua pasta de temas e, à medida que escreve conteúdo otimizado para SEO, não deverá mais ver os temas como resultado de pesquisa.
Admin
Salem
Olá, o que significa ” Disallow: /readme.html & Disallow: /refer/ ” ?
WPBeginner Support
Isso significa que você está dizendo aos mecanismos de busca para não olharem nenhum link de referência ou o arquivo readme.html.
Admin
sean
Olá, quais são os prós e contras de bloquear wp-content/uploads
Obrigado
WPBeginner Support
Se você bloquear sua pasta de uploads, os mecanismos de busca normalmente não rastrearão seu conteúdo carregado, como imagens.
Admin
Piyush
obrigado por resolver meu problema
WPBeginner Support
De nada
Admin
Ravi kumar
Senhor, estou muito confuso sobre o robot.txt, muitas vezes enviei o sitemap no Blogger, mas depois de 3, 4 dias o mesmo problema surge, o que é exatamente o robot.txt.. & como enviá-lo, por favor, me guie
WPBeginner Support
Dependeria do seu problema específico, você pode querer dar uma olhada em nossa página abaixo:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Admin
Prem
Se eu não indexar uma URL ou página usando o arquivo robots.txt, o Google mostrará algum erro no Search Console?
WPBeginner Support
Não, o Google não listará a página, mas se a página estiver listada, não mostrará um erro.
Admin
Bharat
Olá
Tenho uma pergunta
Recebi um aviso de problema de cobertura do Google Search Console sobre bloqueado por robots.txt
/wp-admin/widgets.php
Minha pergunta é, posso permitir que wp-admin/widgets.php seja incluído no robots.txt e isso é seguro?
WPBeginner Support
Se você quisesse, poderia, mas esse não é um arquivo que o Google precisa rastrear.
Admin
Anthony
Olá, estou me perguntando se você deveria permitir: /wp-admin/admin-ajax.php?
WPBeginner Support
Normalmente, sim, você deveria.
Admin
Jaira
Posso saber por que você deveria permitir /wp-admin/admin-ajax.php?
WPBeginner Support
Ele é usado por diferentes temas e plugins para aparecer corretamente para os mecanismos de busca.
Amila
Olá! Gostei muito deste artigo e, como sou iniciante em tudo isso de rastreamento, gostaria de perguntar algo a respeito. Recentemente, o Google rastreou e indexou um dos meus sites de uma maneira terrível, mostrando as páginas nos resultados de pesquisa que foram excluídas do site. O site não havia desativado a indexação pelos mecanismos de busca nas configurações do WordPress no início, mas o fez mais tarde, depois que o Google mostrou mais 3 páginas nos resultados de pesquisa (essas páginas também não existem) e eu realmente não entendo como isso pôde acontecer com a opção "desativar indexação pelos mecanismos de busca" ativada. Então, o método Yoast pode ser útil e resolver o problema do meu site para que o Google indexe meu site da maneira apropriada desta vez? Agradeço antecipadamente!
WPBeginner Support
O plugin Yoast deve ser capaz de ajudar a garantir que as páginas que você tem sejam indexadas corretamente; há uma chance de que, antes de você desativar a indexação pelos mecanismos de busca em seu site, sua página tenha sido armazenada em cache.
Admin
Amila
Sim, e de todas as páginas, ele armazenou em cache aquelas que não existem mais. De qualquer forma, como a página atual está configurada para “desencorajar”, é melhor mantê-la assim por enquanto ou desmarcar a caixa e deixar o Google rastrear e indexar novamente com a ajuda do Yoast? Obrigado! Com seus artigos, tudo ficou mais fácil!
WPBeginner Support
Você vai querer que o Google rastreie seu site novamente assim que ele for configurado como você deseja.
Pradhuman Kumar
Oi, adorei o artigo, muito preciso e perfeito.
Apenas uma pequena sugestão, por favor, atualize a imagem do testador ROBOTS.txt, pois o Google Console mudou e seria ótimo se você adicionasse o link para verificar o robots.txt do Google.
WPBeginner Support
Obrigado pelo feedback, com certeza vamos analisar a atualização do artigo assim que possível.
Admin
Kamaljeet Singh
O arquivo robots.txt do meu blog era:
User-Agent: *
crawl-delay: 10
Depois de ler este post, eu o alterei para o seu arquivo robots.txt recomendado. Tudo bem se eu removi o crawl-delay
WPBeginner Support
Deve ficar tudo bem, crawl-delay diz aos mecanismos de busca para diminuir a velocidade com que rastreiam seu site.
Admin
reena
Muito bem descrito sobre robot.text, estou muito feliz
você é um ótimo escritor
WPBeginner Support
Obrigado, fico feliz que você tenha gostado do nosso artigo
Admin
JJ
O que é a página Disallow: /refer/ ? Recebo um 404, é um arquivo wp oculto?
Equipe Editorial
Usamos /refer/ para redirecionar para vários links de afiliados em nosso site. Não queremos que eles sejam indexados, pois são apenas redirecionamentos e não conteúdo real.
Admin
Sagar Arakh
Obrigado por compartilhar. Isso foi realmente útil para eu entender robots.txt
Eu atualizei meu robots.txt para o ideal que você sugeriu. aguardarei os resultados agora
WPBeginner Support
De nada, fico feliz que você esteja disposto a usar nossas recomendações
Admin
Akash Gogoi
Artigo muito útil. Muito obrigado.
WPBeginner Support
Fico feliz que nosso artigo foi útil
Admin
Zingylancer
Obrigado por compartilhar esta informação útil sobre nós.
WPBeginner Support
Ficamos felizes em poder compartilhar essas informações sobre o arquivo robots.txt
Admin
Jasper
obrigado por me atualizar com informações. Seu artigo foi bom para o arquivo Robot txt. Ele me deu uma nova informação. obrigado e mantenha-me atualizado com novas ideias.
WPBeginner Support
Ficamos felizes que nosso guia tenha sido útil
Admin
Imran
Obrigado, adicionei robots.txt no WordPress. Ótimo artigo
WPBeginner Support
Obrigado, fico feliz que nosso artigo tenha sido útil
Admin
Steve
Obrigado por isso – como funciona em um WP Multisite?
WPBeginner Support
Para um multisite, você precisaria ter um arquivo robots.txt na pasta raiz de cada site.
Admin
Pacifique Ndanyuzwe
Meu site wordpress é novo e meu robot.txt padrão é
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quero que o Google rastreie e indexe meu conteúdo. Esse robot.txt está ok?
WPBeginner Support
Você certamente pode usar isso se quisesse
Admin
Ritesh Seth
Ótimo Artigo…
Fiquei confuso por muitos dias sobre o arquivo Robots.txt e os links Disallow. Copiei as tags para o arquivo robots. Espero que isso resolva o problema do meu site
WPBeginner Support
Esperamos que nosso artigo ajude também
Admin
Kurt
Os arquivos nas capturas de tela da sua pasta principal estão localizados na pasta public_html sob minha pasta principal.
Eu não tinha uma pasta /refer sob minha pasta public_html.
Eu não tinha arquivos xml de post ou página em nenhum lugar da minha conta WP.
Eu incluí uma entrada no arquivo robots.txt que criei para proibir o rastreamento do meu site sandbox. Não tenho certeza se isso é necessário, já que já selecionei a opção no WP dizendo aos rastreadores para não rastrear meu site sandbox, mas não acho que fará mal ter a entrada.
WPBeginner Support
Alguns hosts renomeiam public_html para home, que é o motivo pelo qual você o vê lá. Você vai querer garantir que o Yoast esteja ativo para que os arquivos XML estejam disponíveis. O método neste artigo é uma precaução adicional para ajudar a evitar que seu site seja rastreado
Admin
Ahmed
Ótimo artigo
WPBeginner Support
Obrigado
Admin
ASHOK KUMAR JADON
Olá, um artigo tão bom você resolveu meu problema. Então, muito obrigado
WPBeginner Support
Ficamos felizes que nosso artigo pôde ajudar
Admin
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este é o meu código robot.txt, mas estou confuso por que meu /wp-admin está indexado? Como não indexá-lo?
WPBeginner Support
Se foi indexado anteriormente, você pode precisar dar tempo para o cache do mecanismo de busca limpar
Admin
Ashish kumar
Este site realmente me inspira a começar um blog. Obrigado por muitos temas. Este site, cada artigo tem muita informação e explicação. Quando tenho algum problema, primeiro visito este blog. Obrigado
WPBeginner Support
Ficamos felizes que nossos artigos possam ser úteis
Admin
Anna
Estou tentando otimizar robôs para o meu site usando o Yoast. No entanto, as Ferramentas no Yoast não têm a opção de ‘Editor de Arquivos’.
Existem apenas duas opções
(i) Importar e Exportar
(ii) Editor em Massa
Você pode me aconselhar como isso pode ser resolvido? Poderia ser que eu esteja em uma edição gratuita do Yoast?
WPBeginner Support
A versão gratuita do Yoast ainda tem a opção, sua instalação pode estar impedindo a edição de arquivos, caso em que você provavelmente precisaria usar o método FTP.
Admin
Emmanuel Husseni
Eu realmente acho este artigo útil porque eu realmente não sei muito sobre como o robot.txt funciona, mas agora eu sei.
Por favor, o que eu não entendo é como encontrar o melhor formato de robot.txt para usar no meu site (quero dizer um que funcione geralmente)?
Notei que muitos blogs grandes que verifico e que estão bem classificados nos motores de busca usam formatos diferentes de robot.txt..
Ficarei feliz em ver uma resposta sua ou de qualquer pessoa que possa ajudar
Equipe Editorial
Ter um sitemap e permitir as áreas que precisam ser permitidas é a parte mais importante. A parte de desautorização variará com base em cada site. Compartilhamos um exemplo em nosso post de blog, e isso deve ser bom para a maioria dos sites WordPress.
Admin
WPBeginner Support
Olá Emmanuel,
Por favor, veja a seção sobre o arquivo ideal de robots.txt. Depende dos seus próprios requisitos. A maioria dos blogueiros exclui as pastas de administração e plugins do WordPress da rastreagem.
Admin
Emmanuel Husseni
Muito obrigado.
agora eu entendo. Acho que vou começar com o formato geral por enquanto.
jack
Artigo bem escrito, recomendo aos usuários que façam o sitemap antes de criar e habilitar seu texto ROBOTS, isso ajudará seu site a ser rastreado mais rapidamente e indexado facilmente.
Jack
Connie S Owens
Gostaria de impedir que os motores de busca indexassem meus arquivos durante a rastreagem.
Emmanuel Nonye
Muito obrigado, este artigo foi realmente útil
Cherisa
Continuo recebendo a mensagem de erro abaixo no Google Webmaster. Estou basicamente travado. Algumas coisas que não ficaram claras para mim neste tutorial são: onde encontro os arquivos raiz do meu site, como determinar se já tenho um "robots.txt" e como editá-lo?
WPBeginner Support
Olá Cherisa,
A pasta raiz do seu site é aquela que contém pastas como wp-admin, wp-includes, wp-content, etc. Ela também contém arquivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Se você não conseguir ver um arquivo robots.txt nesta pasta, então você não tem um. Você pode prosseguir e criar um novo.
Admin
Cherisa
Obrigado pela sua resposta. Procurei em todos os lugares e não consigo localizar esses arquivos raiz como você descreve. Existe um diretório de caminho que posso seguir que leva a esta pasta? Como se estivesse em Configurações, etc?
Devender
Eu tinha um tráfego decente para o meu site. De repente caiu para zero no mês de maio. Até agora, tenho enfrentado o problema. Por favor, ajude-me a recuperar meu site.
Haris Aslam
Olá! Obrigado por esta informação, mas tenho uma pergunta.
Eu acabei de criar os arquivos sitemap.xml e robots.txt, e eles estão sendo rastreados bem. Mas como posso criar o "Product-Sitemap.xml"?
Existe uma lista completa de produtos no arquivo sitemap.xml. Eu preciso criar o Product-sitemap.xml separadamente?
e enviá-los novamente para o Google ou Bing?
Você pode me ajudar?
Obrigado.
Mahadi Hassan
Tenho um problema com a configuração do arquivo robots.txt. Apenas um robots.txt está sendo exibido para todos os sites. Por favor, ajude-me a exibir um arquivo robots.txt separado para todos os sites. Tenho todos os arquivos robots.txt separados de cada site individual. Mas apenas um arquivo robots.txt está sendo exibido no navegador para todos os sites.
Debu Majumdar
Por favor, explique por que você incluiu
Disallow: /refer/
no exemplo inicial do Robots.txt? Eu não entendo as implicações desta linha. Isso é importante para um iniciante? Você explicou as outras duas linhas bloqueadas.
Obrigado.
WPBeginner Support
Olá Debu,
Este exemplo foi retirado do arquivo robots.txt do WPBeginner. No WPBeginner, usamos o ThirstyAffiliates para gerenciar links de afiliados e mascarar URLs. Esses URLs contêm /refer/, é por isso que os bloqueamos em nosso arquivo robots.txt.
Admin
Evaristo
Como posso colocar todas as tags/meudominio.Com em nofollow? No robots.txt para concentrar o Link Juice? Obrigado.
harsh kumar
olá,,estou recebendo um erro no yoast seo em relação ao mapa do site..assim que clico em corrigir,,,ele volta de novo..o html do meu site não está carregando corretamente
Tom
Acabei de revisar minha conta do Google Webmaster Tools e, usando o Search Console, encontrei o seguinte:
Página parcialmente carregada
Nem todos os recursos da página puderam ser carregados. Isso pode afetar como o Google vê e entende sua página. Corrija os problemas de disponibilidade de quaisquer recursos que possam afetar como o Google entende sua página.
Isso ocorre porque todas as folhas de estilo CSS associadas aos Plugins são proibidas pelo robots.txt padrão.
Entendo boas razões pelas quais não devo simplesmente permitir isso, mas qual seria uma alternativa, já que suspeito que os algoritmos do Google estão desvalorizando o site por não os verem.
Suren
Olá,
Sempre que pesquiso meu site no Google, este texto aparece abaixo do link: “A description for this result is not available because of this site’s robots.txt”
Como posso resolver este problema?
Atenciosamente
WPBeginner Support
Olá Suren,
Parece que alguém alterou acidentalmente as configurações de privacidade do seu site. Vá para Configurações » Página de Leitura e role para baixo até a seção ‘Visibilidade para motores de busca’. Certifique-se de que a caixa ao lado esteja desmarcada.
Admin
Divyesh
Olá
Como vi na ferramenta do webmaster, tenho um arquivo robot.txt como abaixo:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
me diga se está ok? ou devo usar outro?
John Cester
Quero saber, é uma boa ideia bloquear (negar) “/wp-content/plugins/” em robots.tx? Toda vez que removo um plugin, ele mostra um erro 404 em algumas páginas desse plugin.