Seu site WordPress já possui um arquivo robots.txt e ele está tomando decisões sobre o que os rastreadores de mecanismos de busca podem acessar, quer você já o tenha alterado ou não.
A maioria dessas decisões são inofensivas. Mas uma única regra mal escolhida também pode impedir que os rastreadores acessem URLs que você realmente deseja que eles descubram.
Neste guia, mostraremos o que seu arquivo robots.txt está fazendo no momento e como editá-lo sem tocar no código.
Aqui está tudo o que cobriremos neste guia:
O que é um arquivo robots.txt?
Robots.txt é um arquivo de texto simples que informa aos bots dos motores de busca quais partes do seu site eles podem rastrear.
O arquivo fica no diretório raiz (a pasta principal) do seu site. O formato básico se parece com isto:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Você pode adicionar quantas regras e sitemaps precisar. Se você não proibir uma URL, os bots assumirão que podem rastreá-la.
Seu site funciona bem sem um arquivo robots.txt quando você começa um blog. No entanto, à medida que seu conteúdo cresce, este arquivo se torna mais útil.
Os motores de busca dão a cada site um orçamento de rastreamento, que é o número de páginas que eles rastrearão em um determinado período. Ao bloquear páginas sem importância, você ajuda os bots a gastar esse orçamento no conteúdo que você deseja nos resultados de pesquisa.
Isso é mais importante para sites grandes com milhares de páginas.
Lembre-se de que robots.txt ajuda você a controlar o rastreamento, não a indexação.
- Rastreamento é quando os bots dos motores de busca (como o Googlebot) visitam seu site para descobrir seu conteúdo.
- Indexação é quando eles adicionam esse conteúdo ao seu banco de dados massivo de pesquisa para que ele possa aparecer nos resultados de pesquisa.
Pense nisso como um bibliotecário lendo um novo livro (rastreamento) e depois adicionando-o ao catálogo da biblioteca (indexação).
Em outras palavras, robots.txt também não é uma boa maneira de ocultar conteúdo, pois uma página proibida ainda pode aparecer nos resultados de pesquisa se outros sites a vincularem. Para manter uma página fora do Google de forma confiável, use uma meta tag 'noindex' em vez disso. Isso informa aos motores de busca para não listar a página.
Exemplos e Melhores Práticas de Robots.txt
Para a maioria dos sites WordPress, você pode manter seu arquivo robots.txt bem simples. Aqui está a configuração básica que recomendamos:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Aqui está o que cada regra faz:
Allow: /wp-content/uploads/permite que os motores de busca rastreiem suas imagens e outros arquivos enviados para sua biblioteca de mídia do WordPress.Allow: /wp-admin/admin-ajax.phpmantém o manipulador AJAX do WordPress acessível. Temas e plugins podem usar este arquivo para carregar ou atualizar conteúdo sem recarregar a página.Disallow: /wp-admin/impede que os rastreadores acessem sua área de administração do WordPress, que não contém conteúdo que você deseja que apareça nos resultados de pesquisa.Disallow: /readme.htmlimpede que os rastreadores acessem o arquivoreadme.htmlpadrão do WordPress. Este arquivo não é útil para os motores de busca, então há pouca razão para eles rastreá-lo.Disallow: /refer/impede que os rastreadores sigam URLs de afiliados ou outros redirecionamentos que usam o prefixo/refer/. Se o seu site usa um prefixo diferente para esses links, substitua/refer/pelo seu.Disallow: /?s=impede que os rastreadores solicitem URLs de pesquisa internas do WordPress. Essas páginas geralmente não são páginas de destino úteis para os motores de busca e podem criar muitos URLs desnecessários para rastrear.Sitemapinforma aos mecanismos de busca onde encontrar seus sitemaps XML. Isso facilita a descoberta das URLs que você deseja que eles rastreiem.
Estes são os mesmos tipos básicos de regras que usamos no WPBeginner. Você pode ver nosso arquivo em tempo real em wpbeginner.com/robots.txt. Nosso arquivo de produção contém regras adicionais para um site muito maior, mas os princípios básicos são os mesmos.
Lembre-se de que usar o caractere curinga * se aplica a todos os rastreadores.
Por exemplo, esta regra impede que o Googlebot rastreie a pasta /private/:
User-agent: Googlebot
Disallow: /private/
Nomes comuns de user agent incluem Googlebot (Google), Bingbot (Bing) e Baiduspider (Baidu).
Como Criar um Arquivo Robots.txt no WordPress
Existem duas maneiras de criar um arquivo robots.txt no WordPress. Você pode escolher o método que funciona melhor para você.
Método 1: Editando o Arquivo Robots.txt Usando All in One SEO
A maioria dos plugins gratuitos de SEO para WordPress, como All in One SEO (AIOSEO), Yoast ou Rank Math, permite que você personalize seu arquivo robots.txt diretamente do seu painel do WordPress.
Usamos o AIOSEO no WPBeginner. A versão gratuita do AIOSEO ajuda você a validar sua regra do robots.txt enquanto digita, o que permite capturar erros de sintaxe antes que ela seja publicada.
Depois que o plugin estiver ativo, simplesmente vá para All in One SEO » Ferramentas no seu painel do WordPress. Você será direcionado para o Editor de Robots.txt. Ative o botão 'Ativar Robots.txt Personalizado' para começar a editar.
O editor mostra as regras padrão que o WordPress gera por conta própria.
Agora você pode adicionar suas próprias regras. Insira um user agent no campo 'User Agent' ou use * para aplicar a regra a todos os bots.
Em seguida, escolha 'Allow' ou 'Disallow' na coluna Directive e digite o caminho do arquivo ou pasta no campo 'Value'. Para adicionar outra regra, clique no botão 'Add Rule'.
Você pode verificar seu arquivo finalizado na 'Custom Robots.txt Preview' na parte inferior da tela. Ele mostra o arquivo completo exatamente como os bots o verão.
Quando terminar, clique no botão 'Save Changes' para salvar suas regras.
Método 2: Editando o Arquivo Robots.txt Manualmente Usando FTP
Se preferir editar seu arquivo robots.txt diretamente, siga este método. Para editar o arquivo, você precisará usar um cliente FTP ou o gerenciador de arquivos no painel de hospedagem do seu WordPress.
Antes de editar qualquer coisa, baixe uma cópia de backup do seu arquivo robots.txt atual para o seu computador. Dessa forma, você pode restaurá-lo se algo der errado.
Primeiro, conecte seu cliente FTP ao seu site WordPress e encontre o arquivo robots.txt na pasta raiz do seu site.
Se você não vir um, seu site ainda não tem um arquivo robots.txt. Você pode criá-lo ali mesmo.
Robots.txt é um arquivo de texto simples. Você pode baixá-lo, editá-lo em qualquer editor de texto simples como o Bloco de Notas ou TextEdit, e enviá-lo de volta para sua pasta raiz.
Como Testar Seu Arquivo Robots.txt
Após criar ou editar seu arquivo robots.txt, sempre verifique se há erros. Um pequeno erro de digitação pode impedir que páginas importantes sejam rastreadas pelos mecanismos de busca, e você pode não perceber por semanas.
A maneira mais fácil de testar seu arquivo robots.txt em busca de erros é com o Google Search Console.
Primeiro, certifique-se de que seu site está conectado ao Google Search Console. Se não estiver, siga nosso guia sobre como adicionar seu site WordPress ao Google Search Console.
Em seguida, vá para o painel do Search Console e abra Configurações no menu inferior esquerdo. Encontre a seção ‘Rastreamento’ e clique em ‘Abrir Relatório’ ao lado de ‘robots.txt’.
Clique na versão atual do arquivo na lista. O relatório mostra o robots.txt mais recente que o Google encontrou e destaca quaisquer erros de sintaxe ou problemas lógicos que ele detectou.
Se você acabou de atualizar seu arquivo e as alterações não estão aparecendo, espere um dia e verifique novamente.
Perguntas Frequentes sobre robots.txt do WordPress
Aqui estão as perguntas mais comuns que os leitores nos fazem sobre a otimização do arquivo robots.txt no WordPress.
1. O uso do robots.txt pode melhorar a segurança do meu site?
Não, o robots.txt não é uma medida de segurança. O arquivo é visível publicamente, portanto, ele não impede ninguém de acessar os URLs que você lista. Ele simplesmente fornece diretivas para rastreadores de mecanismos de busca bem-comportados.
2. Devo bloquear as páginas de categorias e tags do WordPress no robots.txt?
Não, você não deve bloquear páginas de categorias e tags. Essas páginas de arquivo carregam links internos que os rastreadores seguem para alcançar seus posts mais antigos, portanto, bloqueá-las remove um caminho de descoberta para o conteúdo que você deseja indexar.
3. Qual é a diferença entre robots.txt e a tag noindex?
Eles controlam coisas diferentes. O robots.txt controla se um rastreador pode visitar um URL. A tag noindex controla se os mecanismos de pesquisa listam uma página nos resultados de pesquisa, mesmo que já a tenham visitado.
Use robots.txt para bloquear rastreadores de áreas como seu painel de administração, ambiente de staging ou diretórios de plugins. Use noindex para páginas que você não se importa que o Google rastreie, como páginas de arquivo filtradas ou páginas de agradecimento, que você simplesmente não quer que apareçam nos resultados de pesquisa.
Esperamos que este artigo tenha ajudado você a otimizar seu arquivo robots.txt do WordPress para SEO. Você também pode querer ver nosso guia definitivo de SEO para WordPress e nossas escolhas especializadas para as melhores ferramentas de SEO para WordPress para expandir seu site.
Se você gostou deste artigo, por favor, inscreva-se em nosso Canal do YouTube para tutoriais em vídeo do WordPress. Você também pode nos encontrar no Twitter e no Facebook.
Steve
Obrigado por isso – como funciona em um WP Multisite?
WPBeginner Support
Para um multisite, você precisaria ter um arquivo robots.txt na pasta raiz de cada site.
Admin
Pacifique Ndanyuzwe
Meu site wordpress é novo e meu robot.txt padrão é
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Quero que o Google rastreie e indexe meu conteúdo. Esse robot.txt está ok?
WPBeginner Support
Você certamente pode usar isso se quisesse
Admin
Ritesh Seth
Ótimo Artigo…
Fiquei confuso por muitos dias sobre o arquivo Robots.txt e os links Disallow. Copiei as tags para o arquivo robots. Espero que isso resolva o problema do meu site
WPBeginner Support
Esperamos que nosso artigo ajude também
Admin
Kurt
Os arquivos nas capturas de tela da sua pasta principal estão localizados na pasta public_html sob minha pasta principal.
Eu não tinha uma pasta /refer sob minha pasta public_html.
Eu não tinha arquivos xml de post ou página em nenhum lugar da minha conta WP.
Eu incluí uma entrada no arquivo robots.txt que criei para proibir o rastreamento do meu site sandbox. Não tenho certeza se isso é necessário, já que já selecionei a opção no WP dizendo aos rastreadores para não rastrear meu site sandbox, mas não acho que fará mal ter a entrada.
WPBeginner Support
Alguns hosts renomeiam public_html para home, que é o motivo pelo qual você o vê lá. Você vai querer garantir que o Yoast esteja ativo para que os arquivos XML estejam disponíveis. O método neste artigo é uma precaução adicional para ajudar a evitar que seu site seja rastreado
Admin
Ahmed
Ótimo artigo
WPBeginner Support
Obrigado
Admin
ASHOK KUMAR JADON
Olá, um artigo tão bom você resolveu meu problema. Então, muito obrigado
WPBeginner Support
Ficamos felizes que nosso artigo pôde ajudar
Admin
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Este é o meu código robot.txt, mas estou confuso por que meu /wp-admin está indexado? Como não indexá-lo?
WPBeginner Support
Se foi indexado anteriormente, você pode precisar dar tempo para o cache do mecanismo de busca limpar
Admin
Ashish kumar
Este site realmente me inspira a começar um blog. Obrigado por muitos temas. Este site, cada artigo tem muita informação e explicação. Quando tenho algum problema, primeiro visito este blog. Obrigado
WPBeginner Support
Ficamos felizes que nossos artigos possam ser úteis
Admin
Anna
Estou tentando otimizar robôs para o meu site usando o Yoast. No entanto, as Ferramentas no Yoast não têm a opção de ‘Editor de Arquivos’.
Existem apenas duas opções
(i) Importar e Exportar
(ii) Editor em Massa
Você pode me aconselhar como isso pode ser resolvido? Poderia ser que eu esteja em uma edição gratuita do Yoast?
WPBeginner Support
A versão gratuita do Yoast ainda tem a opção, sua instalação pode estar impedindo a edição de arquivos, caso em que você provavelmente precisaria usar o método FTP.
Admin
Emmanuel Husseni
Eu realmente acho este artigo útil porque eu realmente não sei muito sobre como o robot.txt funciona, mas agora eu sei.
Por favor, o que eu não entendo é como encontrar o melhor formato de robot.txt para usar no meu site (quero dizer um que funcione geralmente)?
Notei que muitos blogs grandes que verifico e que estão bem classificados nos motores de busca usam formatos diferentes de robot.txt..
Ficarei feliz em ver uma resposta sua ou de qualquer pessoa que possa ajudar
Equipe Editorial
Ter um sitemap e permitir as áreas que precisam ser permitidas é a parte mais importante. A parte de desautorização variará com base em cada site. Compartilhamos um exemplo em nosso post de blog, e isso deve ser bom para a maioria dos sites WordPress.
Admin
WPBeginner Support
Olá Emmanuel,
Por favor, veja a seção sobre o arquivo ideal de robots.txt. Depende dos seus próprios requisitos. A maioria dos blogueiros exclui as pastas de administração e plugins do WordPress da rastreagem.
Admin
Emmanuel Husseni
Muito obrigado.
agora eu entendo. Acho que vou começar com o formato geral por enquanto.
jack
Artigo bem escrito, recomendo aos usuários que façam o sitemap antes de criar e habilitar seu texto ROBOTS, isso ajudará seu site a ser rastreado mais rapidamente e indexado facilmente.
Jack
Connie S Owens
Gostaria de impedir que os motores de busca indexassem meus arquivos durante a rastreagem.
Emmanuel Nonye
Muito obrigado, este artigo foi realmente útil
Cherisa
Continuo recebendo a mensagem de erro abaixo no Google Webmaster. Estou basicamente travado. Algumas coisas que não ficaram claras para mim neste tutorial são: onde encontro os arquivos raiz do meu site, como determinar se já tenho um "robots.txt" e como editá-lo?
WPBeginner Support
Olá Cherisa,
A pasta raiz do seu site é aquela que contém pastas como wp-admin, wp-includes, wp-content, etc. Ela também contém arquivos como wp-config.php, wp-cron.php, wp-blogheader.php, etc.
Se você não conseguir ver um arquivo robots.txt nesta pasta, então você não tem um. Você pode prosseguir e criar um novo.
Admin
Cherisa
Obrigado pela sua resposta. Procurei em todos os lugares e não consigo localizar esses arquivos raiz como você descreve. Existe um diretório de caminho que posso seguir que leva a esta pasta? Como se estivesse em Configurações, etc?
Devender
Eu tinha um tráfego decente para o meu site. De repente caiu para zero no mês de maio. Até agora, tenho enfrentado o problema. Por favor, ajude-me a recuperar meu site.
Haris Aslam
Olá! Obrigado por esta informação, mas tenho uma pergunta.
Eu acabei de criar os arquivos sitemap.xml e robots.txt, e eles estão sendo rastreados bem. Mas como posso criar o "Product-Sitemap.xml"?
Existe uma lista completa de produtos no arquivo sitemap.xml. Eu preciso criar o Product-sitemap.xml separadamente?
e enviá-los novamente para o Google ou Bing?
Você pode me ajudar?
Obrigado.
Mahadi Hassan
Tenho um problema com a configuração do arquivo robots.txt. Apenas um robots.txt está sendo exibido para todos os sites. Por favor, ajude-me a exibir um arquivo robots.txt separado para todos os sites. Tenho todos os arquivos robots.txt separados de cada site individual. Mas apenas um arquivo robots.txt está sendo exibido no navegador para todos os sites.
Debu Majumdar
Por favor, explique por que você incluiu
Disallow: /refer/
no exemplo inicial do Robots.txt? Eu não entendo as implicações desta linha. Isso é importante para um iniciante? Você explicou as outras duas linhas bloqueadas.
Obrigado.
WPBeginner Support
Olá Debu,
Este exemplo foi retirado do arquivo robots.txt do WPBeginner. No WPBeginner, usamos o ThirstyAffiliates para gerenciar links de afiliados e mascarar URLs. Esses URLs contêm /refer/, é por isso que os bloqueamos em nosso arquivo robots.txt.
Admin
Evaristo
Como posso colocar todas as tags/meudominio.Com em nofollow? No robots.txt para concentrar o Link Juice? Obrigado.
harsh kumar
olá,,estou recebendo um erro no yoast seo em relação ao mapa do site..assim que clico em corrigir,,,ele volta de novo..o html do meu site não está carregando corretamente
Tom
Acabei de revisar minha conta do Google Webmaster Tools e, usando o Search Console, encontrei o seguinte:
Página parcialmente carregada
Nem todos os recursos da página puderam ser carregados. Isso pode afetar como o Google vê e entende sua página. Corrija os problemas de disponibilidade de quaisquer recursos que possam afetar como o Google entende sua página.
Isso ocorre porque todas as folhas de estilo CSS associadas aos Plugins são proibidas pelo robots.txt padrão.
Entendo boas razões pelas quais não devo simplesmente permitir isso, mas qual seria uma alternativa, já que suspeito que os algoritmos do Google estão desvalorizando o site por não os verem.
Suren
Olá,
Sempre que pesquiso meu site no Google, este texto aparece abaixo do link: “A description for this result is not available because of this site’s robots.txt”
Como posso resolver este problema?
Atenciosamente
WPBeginner Support
Olá Suren,
Parece que alguém alterou acidentalmente as configurações de privacidade do seu site. Vá para Configurações » Página de Leitura e role para baixo até a seção ‘Visibilidade para motores de busca’. Certifique-se de que a caixa ao lado esteja desmarcada.
Admin
Divyesh
Olá
Como vi na ferramenta do webmaster, tenho um arquivo robot.txt como abaixo:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
me diga se está ok? ou devo usar outro?
John Cester
Quero saber, é uma boa ideia bloquear (negar) “/wp-content/plugins/” em robots.tx? Toda vez que removo um plugin, ele mostra um erro 404 em algumas páginas desse plugin.
Himanshu singh
Adorei essa explicação. Como iniciante, eu estava muito confuso sobre o arquivo robot.txt e seus usos. Mas agora eu sei qual é o seu propósito.
rahul
em alguns arquivos robot.txt, index.php foi desabilitado. Você pode explicar por quê? É uma boa prática?
Waleed Barakat
Obrigado por compartilhar essas informações preciosas.
Awais Ahmed
Você pode me dizer por que isso está acontecendo na ferramenta de webmaster:
Rede inacessível: robots.txt inacessível Não conseguimos rastrear seu Sitemap porque encontramos um arquivo robots.txt na raiz do seu site, mas não conseguimos baixá-lo. Certifique-se de que ele esteja acessível ou remova-o completamente.
arquivo robots.txt existe, mas ainda assim
Dozza
Atualização interessante da equipe Yoast sobre isso em
Citação: “As antigas melhores práticas de ter um robots.txt que bloqueia o acesso ao seu diretório wp-includes e ao seu diretório de plugins não são mais válidas.”
natveimaging
Allow: /wp-content/uploads/
Não deveria ser?
Disallow: /wp-content/uploads/
Porque você está ciente de que o Google indexará todas as suas páginas de uploads como URLs públicas, certo? E então você receberá erros para a própria página. Há algo que estou perdendo aqui?
nativeimaging
No geral, são as páginas reais que o Google rastreia para gerar mapas de imagens, NÃO as pastas de uploads. Então você teria um problema de todos os tamanhos de imagem menores e outras imagens que são para a interface do usuário também serem indexadas.
Esta parece ser a melhor opção:
Disallow: /wp-content/uploads/
Se eu estiver incorreto, por favor, explique isso para que eu possa entender seu ponto de vista.
Jason
A URL do meu blog não está sendo indexada, preciso mudar meu robots.txt?
Estou usando este robots.txt
iyan
como criar um robot txt que PERMITE APENAS indexação para a página e Post.. obrigado
Simaran Singh
Não tenho certeza qual é o problema, mas meu robots.txt tem duas versões.
Uma em http://www.example.com/robots.txt e a segunda em example.com/robots.txt
Alguém, por favor, ajude! Me digam qual pode ser a causa e como corrigir?
WPBeginner Support
Muito provavelmente, seu provedor de hospedagem permite que seu site seja acessado com URLs www e não-www. Tente alterar o robots.txt usando um cliente FTP. Em seguida, examine-o de ambos os URLs. Se você puder ver suas alterações em ambos os URLs, isso significa que é o mesmo arquivo.
Admin
Simaran Singh
Obrigado pela rápida resposta. Eu já fiz isso, mas não consigo ver nenhuma mudança. Existe alguma outra maneira de resolver isso?
Martin conde
O post do blog do Yoast sobre este tópico estava logo acima do seu na minha pesquisa, então é claro que verifiquei ambos. Eles estão se contradizendo um pouco. Por exemplo, o Yoast disse que desautorizar diretórios de plugins e outros pode prejudicar os rastreadores do Google ao buscar seu site, já que os plugins podem gerar CSS ou JS. Também mencionou (e pela minha própria experiência), o Yoast não adiciona nada relacionado a sitemap ao robots.txt, em vez disso, o gera para que você possa adicioná-lo ao seu Search Console. Aqui está o link para o post dele, talvez você possa verificar novamente porque é muito difícil escolher em quem acreditar
MM Nauman
Como não sou bom em criar este arquivo Robotstxt, posso usar seu arquivo Robots.txt mudando os parâmetros como url e sitemap do meu site, é bom? ou devo criar um diferente
Mohit Chauhan
Olá,
Hoje recebi este e-mail do Google “O Googlebot não consegue acessar arquivos CSS e JS”…qual pode ser a solução?
Obrigado
Parmod
Deixe-me adivinhar… Você está usando serviços de CDN para importar arquivos CSS e JS.
ou
Pode ser que você tenha escrito a sintaxe errada nesses arquivos.
Rahul
Tenho uma pergunta sobre como adicionar Sitemaps. Como posso adicionar o Sitemap do Yahoo e Bing ao arquivo Robots e ao Diretório do WordPress?
Gerbrand Petersen
Obrigado pelo esboço detalhado sobre o uso do arquivo robots.txt. Alguém sabe se o Yahoo também está usando este robots.txt e se ele obedece às regras mencionadas no arquivo? Pergunto isso porque tenho um "Disallow" para uma determinada página no meu arquivo, mas recebo tráfego vindo do Yahoo nessa página. Nada do Google, como deveria ser. Agradeço desde já.
Erwin
correção…
"Se você estiver usando o plugin Yoast WordPress SEO ou algum outro plugin para gerar seu sitemap XML, seu plugin tentará adicionar automaticamente as linhas relacionadas ao sitemap ao arquivo robots.txt."
Não é verdade. WordPress SEO não adiciona o sitemap ao robots.txt
"Sempre achei que vincular seu sitemap XML do seu robots.txt é um pouco sem sentido. Você deve adicioná-los manualmente às suas Ferramentas para Webmasters do Google e Bing e garantir que você veja o feedback deles sobre seu sitemap XML. Este é o motivo pelo qual nosso plugin WordPress SEO não o adiciona ao seu robots.txt."
https://yoast.com/wordpress-robots-txt-example/
Também é mais recomendado não proibir o diretório wp-plugins (motivos veja o post do Yoast)
E pessoalmente, eu gosto de simplesmente remover o arquivo readme.txt…
hyma
Entendi sobre o arquivo robots.txt e o uso do arquivo robots. O que é o sitemap e como crio um sitemap para o meu site.
Rick R. Duncan
Depois de ler a documentação do Google, tenho a impressão de que a diretiva a ser usada no arquivo robots.txt é disallow, que apenas diz aos bots o que eles podem e não podem rastrear. Isso não diz a eles o que pode e não pode ser indexado. Você precisa usar a meta tag robots noindex para que uma página não seja indexada.
Nitin
artigo realmente bom para arquivo robots.txt otimizado para SEO. Mas preciso que você dê um tutorial sobre como fazer upload do arquivo robots.txt para o servidor. Pois, sendo um iniciante, parece ser um problema drástico fazer o upload desse arquivo.
A propósito, obrigado por compartilhar informações tão benéficas.
-Nitin
Parmod
Faça o upload para o seu servidor/public_hmtl/(Seu-nome-do-site) … nesta pasta
Jenny
Qual é a melhor maneira de adicionar código ao HTTacess para bloquear vários referenciadores de bots de spam por seu URL e endereço IP, se nenhum URL for fornecido
Eu sei que se você cometer um erro de sintaxe ao fazer o httacess, isso pode tirar seu site do ar. Sou novato e preciso bloquear esses múltiplos URLs irritantes da Rússia, China, Ucrânia, etc.
Muito obrigado
Hazel Andrews
Obrigado por essas dicas….arquivos robot txt agora alterados! yay!
Rahat
por que adicionar Allow: !!!
se eu mencionar apenas o que precisa ser Disallow, isso é suficiente. Não preciso escrever código para Allow porque o Googlebot ou Bingbot rastrearão todas as outras coisas automaticamente.
Então, por que eu deveria usar Allow novamente?
Connor Rickett
Como a falta do arquivo Robots.txt não impede que o site seja rastreado, fico curioso: existe algum dado concreto sobre o quanto ter o arquivo melhora o desempenho de SEO?
Fiz uma busca rápida no Google e não vi nenhum tipo de dado quantitativo sobre isso. São cerca de meio milhão de artigos dizendo: “Ei, isso melhora o SEO!”, mas eu realmente gostaria de saber do que estamos falando aqui, mesmo que de forma geral.
É um aumento de 5%? 50? 500?
WPBeginner Support
Os motores de busca não compartilham tais dados. Embora a ausência de um arquivo robots.txt não impeça os motores de busca de rastrear ou indexar um site. No entanto, é uma prática recomendada.
Admin
Connor Rickett
Obrigado por dedicar seu tempo para me responder, eu agradeço!
JD Myers
Bom momento para isso. Eu estava tentando encontrar essa informação ontem mesmo.
O motivo pelo qual eu estava procurando por isso é que as ferramentas do Google Webmaster estavam me dizendo que não conseguiam rastrear meu site adequadamente porque eu estava bloqueando vários recursos necessários para a renderização correta da página.
Esses recursos incluíam aqueles encontrados em /wp-content/plugins/
Depois que permiti esta pasta, o aviso desapareceu.
Alguma ideia sobre isso?
WPBeginner Support
Você pode ignorar esses avisos com segurança. É apenas um aviso se você realmente tivesse conteúdo lá que gostaria de indexar. Às vezes, os usuários restringem os bots de pesquisa e se esqueceram disso. Esses avisos são úteis nessas situações.
Admin
Chetan jadhav
Tenho uma pergunta: muitas pessoas usam sitemap estático e você sabe que elas têm um site WordPress. Devemos usar sitemap estático ou gerado pelo WordPress?
Wilton Calderon
Legal, eu gosto do jeito que o Wpbeginner tem, e com isso classificar na Alexa, parece para mim uma das melhores maneiras de usar o robots.txt..
Brigitte Burke
o que significa meu arquivo robots.txt se ele se parece com isto?
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Equipe Editorial
Isso apenas diz que os mecanismos de busca não devem indexar sua pasta wp-admin, pasta wp-includes e o arquivo xml-rpc. Às vezes, desautorizar /wp-includes/ pode bloquear certos scripts para mecanismos de busca, especialmente se o seu site estiver usando esses scripts. Isso pode prejudicar seu SEO.
A melhor coisa a fazer é ir ao Google Webmaster Tools e buscar seu site como um bot lá. Se tudo carregar bem, então você não tem nada com que se preocupar. Se disser que os scripts estão bloqueados, talvez você queira remover a linha wp-includes.
Admin
hercules
Não vejo lógica na sua ideia de ter um script dentro do diretório includes que possa ser usado por um rastreador / robô .. e outro, se houver um caso isolado, é melhor depois especificar o padrão do WordPress permitir este arquivo que você imagina que os mecanismos de busca usam seus scripts! afinal, o WordPress certamente não tem por padrão um robots.txt anti mecanismos de busca!!!!