Votre site WordPress possède déjà un fichier robots.txt et il prend des décisions quant à ce que les robots d'exploration des moteurs de recherche peuvent accéder, que vous l'ayez jamais touché ou non.
La plupart de ces décisions sont inoffensives. Mais une seule règle mal choisie peut également empêcher les robots d'exploration d'accéder à des URL que vous souhaitez qu'ils découvrent.
Dans ce guide, nous vous montrerons ce que fait votre fichier robots.txt et comment le modifier sans toucher au code.
Voici tout ce que nous allons couvrir dans ce guide :
Qu'est-ce qu'un fichier robots.txt ?
Robots.txt est un fichier texte brut qui indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent explorer.
Le fichier se trouve dans le répertoire racine (le dossier principal) de votre site web. Le format de base ressemble à ceci :
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Vous pouvez ajouter autant de règles et de sitemaps que nécessaire. Si vous ne bloquez pas une URL, les robots supposent qu'ils peuvent l'explorer.
Votre site fonctionne bien sans fichier robots.txt lorsque vous démarrez un blog. Cependant, à mesure que votre contenu grandit, ce fichier devient plus utile.
Les moteurs de recherche attribuent à chaque site web un budget d'exploration, qui est le nombre de pages qu'ils exploreront dans un délai donné. En bloquant les pages non importantes, vous aidez les robots à dépenser ce budget pour le contenu que vous souhaitez voir apparaître dans les résultats de recherche.
Ceci est le plus important pour les grands sites avec des milliers de pages.
Gardez à l'esprit que robots.txt vous aide à contrôler l'exploration, pas l'indexation.
- L'exploration est le moment où les robots des moteurs de recherche (comme Googlebot) visitent votre site web pour découvrir son contenu.
- L'indexation est le moment où ils ajoutent ce contenu à leur base de données de recherche massive afin qu'il puisse apparaître dans les résultats de recherche.
Considérez cela comme un bibliothécaire qui lit un nouveau livre (exploration) puis l'ajoute au catalogue de la bibliothèque (indexation).
En d'autres termes, robots.txt n'est pas non plus un bon moyen de cacher du contenu car une page bloquée peut toujours apparaître dans les résultats de recherche si d'autres sites web y font référence. Pour exclure de manière fiable une page de Google, utilisez plutôt une balise méta 'noindex'. Cela indique aux moteurs de recherche de ne pas répertorier la page du tout.
Exemples et meilleures pratiques de Robots.txt
Pour la plupart des sites WordPress, vous pouvez garder votre fichier robots.txt assez simple. Voici la configuration de base que nous recommandons :
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Voici ce que fait chaque règle :
Allow: /wp-content/uploads/permet aux moteurs de recherche d'explorer vos images et autres fichiers téléchargés dans votre médiathèque WordPress.Allow: /wp-admin/admin-ajax.phpmaintient l'accès au gestionnaire AJAX de WordPress. Les thèmes et plugins peuvent utiliser ce fichier pour charger ou mettre à jour du contenu sans rafraîchir la page.Disallow: /wp-admin/empêche les robots d'accéder à votre zone d'administration WordPress, qui ne contient pas de contenu que vous souhaitez voir apparaître dans les résultats de recherche.Disallow: /readme.htmlempêche les robots d'accéder au fichierreadme.htmlpar défaut de WordPress. Ce fichier n'est pas utile aux moteurs de recherche, il y a donc peu de raisons pour qu'ils l'explorent.Disallow: /refer/empêche les robots de suivre les URL d'affiliation ou autres URL de redirection qui utilisent le préfixe/refer/. Si votre site utilise un préfixe différent pour ces liens, remplacez/refer/par le vôtre.Disallow: /?s=empêche les robots de demander les URL de recherche internes de WordPress. Ces pages ne sont généralement pas des pages de destination utiles pour les moteurs de recherche et peuvent créer de nombreuses URL inutiles à explorer.Sitemapindique aux moteurs de recherche où trouver vos sitemaps XML. Cela leur permet de découvrir plus facilement les URL que vous souhaitez qu'ils explorent.
Ce sont les mêmes types de règles fondamentales que nous utilisons sur WPBeginner. Vous pouvez voir notre fichier en direct sur wpbeginner.com/robots.txt. Notre fichier de production contient des règles supplémentaires pour un site beaucoup plus grand, mais les principes de base sont les mêmes.
Gardez à l'esprit que l'utilisation du caractère générique * s'applique à tous les robots d'exploration.
Par exemple, cette règle empêche Googlebot d'explorer le dossier /private/ :
User-agent: Googlebot
Disallow: /private/
Les noms d'agents utilisateurs courants incluent Googlebot (Google), Bingbot (Bing) et Baiduspider (Baidu).
Comment créer un fichier Robots.txt dans WordPress
Il existe deux méthodes pour créer un fichier robots.txt dans WordPress. Vous pouvez choisir celle qui vous convient le mieux.
Méthode 1 : Modifier le fichier Robots.txt avec All in One SEO
La plupart des plugins WordPress SEO gratuits, tels que All in One SEO (AIOSEO), Yoast ou Rank Math, vous permettent de personnaliser votre fichier robots.txt directement depuis votre tableau de bord WordPress.
Nous utilisons AIOSEO sur WPBeginner. La version gratuite d'AIOSEO vous aide à valider votre règle robots.txt au fur et à mesure que vous tapez, ce qui vous permet de détecter les erreurs de syntaxe avant qu'elle ne soit mise en ligne.
Une fois le plugin actif, allez simplement dans All in One SEO » Outils dans votre tableau de bord WordPress. Vous arriverez sur l'éditeur Robots.txt. Activez le bouton bascule « Activer Robots.txt personnalisé » pour commencer la modification.
L'éditeur affiche les règles par défaut que WordPress génère lui-même.
Vous pouvez maintenant ajouter vos propres règles. Entrez un agent utilisateur dans le champ « Agent utilisateur », ou utilisez * pour appliquer la règle à tous les robots.
Choisissez ensuite « Autoriser » ou « Interdire » dans la colonne Directive, et tapez le chemin du fichier ou du dossier dans le champ « Valeur ». Pour ajouter une autre règle, cliquez sur le bouton « Ajouter une règle ».
Vous pouvez vérifier votre fichier finalisé dans l'aperçu « Aperçu personnalisé de Robots.txt » en bas de l'écran. Il montre le fichier complet exactement comme les robots le verront.
Lorsque vous avez terminé, cliquez sur le bouton « Enregistrer les modifications » pour sauvegarder vos règles.
Méthode 2 : Modifier manuellement le fichier Robots.txt via FTP
Si vous préférez modifier directement votre fichier robots.txt, suivez cette méthode. Pour modifier le fichier, vous devrez utiliser un client FTP ou le gestionnaire de fichiers de votre panneau d'hébergement WordPress.
Avant de modifier quoi que ce soit, téléchargez une copie de sauvegarde de votre fichier robots.txt actuel sur votre ordinateur. Ainsi, vous pourrez le restaurer si quelque chose se passe mal.
Tout d'abord, connectez votre client FTP à votre site web WordPress et trouvez le fichier robots.txt dans le dossier racine de votre site.
Si vous n'en voyez pas, votre site n'a pas encore de fichier robots.txt. Vous pouvez en créer un directement ici.
Robots.txt est un fichier texte brut. Vous pouvez le télécharger, le modifier dans n'importe quel éditeur de texte brut comme le Bloc-notes ou TextEdit, et le téléverser à nouveau dans votre dossier racine.
Comment tester votre fichier Robots.txt
Après avoir créé ou modifié votre fichier robots.txt, vérifiez-le toujours pour détecter les erreurs. Une petite faute de frappe peut bloquer des pages importantes des moteurs de recherche, et vous pourriez ne pas vous en rendre compte pendant des semaines.
Le moyen le plus simple de tester votre fichier robots.txt pour les erreurs est d'utiliser Google Search Console.
D'abord, assurez-vous que votre site est connecté à Google Search Console. S'il ne l'est pas, suivez notre guide sur comment ajouter votre site WordPress à Google Search Console.
Ensuite, allez sur votre tableau de bord Search Console et ouvrez les Paramètres dans le menu en bas à gauche. Trouvez la section « Exploration » et cliquez sur « Ouvrir le rapport » à côté de « robots.txt ».
Cliquez sur la version actuelle du fichier dans la liste. Le rapport affiche le dernier robots.txt que Google a trouvé, et il met en évidence les erreurs de syntaxe ou les problèmes logiques qu'il a détectés.
Si vous venez de mettre à jour votre fichier et que les modifications n'apparaissent pas, attendez un jour, puis vérifiez à nouveau.
Questions fréquemment posées sur robots.txt WordPress
Voici les questions les plus fréquentes que nos lecteurs nous posent sur l'optimisation du fichier robots.txt dans WordPress.
1. L'utilisation de robots.txt peut-elle améliorer la sécurité de mon site ?
Non, le fichier robots.txt n’est pas une mesure de sécurité. Le fichier est visible publiquement, il n’empêche donc personne d’accéder aux URL que vous listez. Il fournit simplement des directives aux robots d’exploration des moteurs de recherche bien élevés.
2. Dois-je bloquer les pages de catégories et d'étiquettes de WordPress dans robots.txt ?
Non, vous ne devez pas bloquer les pages de catégories et d'étiquettes. Ces pages d'archives contiennent des liens internes que les robots d'exploration suivent pour atteindre vos anciens articles, donc les bloquer supprime un chemin de découverte pour le contenu que vous souhaitez indexer.
3. Quelle est la différence entre robots.txt et la balise noindex ?
Ils contrôlent des choses différentes. Robots.txt contrôle si un robot d'exploration peut visiter une URL ou non. La balise noindex contrôle si les moteurs de recherche répertorient une page dans les résultats de recherche, même s'ils l'ont déjà visitée.
Utilisez robots.txt pour bloquer les robots d'exploration des zones telles que votre panneau d'administration, votre environnement de staging ou les répertoires de plugins. Utilisez noindex pour les pages que vous acceptez que Google explore, comme les pages d'archives filtrées ou les pages de remerciement, que vous ne souhaitez simplement pas voir apparaître dans les résultats de recherche.
Nous espérons que cet article vous a aidé à apprendre comment optimiser votre fichier robots.txt WordPress pour le SEO. Vous voudrez peut-être également consulter notre guide ultime du SEO WordPress et nos meilleurs choix d'experts pour les meilleurs outils SEO WordPress pour développer votre site Web.
Si vous avez aimé cet article, abonnez-vous à notre Chaîne YouTube pour des tutoriels vidéo WordPress. Vous pouvez également nous trouver sur Twitter et Facebook.
Dennis Muthomi
Je dois admettre que j'utilise le plugin AIOSEO mais j'ai toujours ignoré l'option "Activer le fichier robots.txt personnalisé" car je ne voulais rien gâcher.
Mais j'ai lu cet article et je suis convaincu que cela vaut la peine de prendre le temps d'optimiser le fichier robots.txt de mon site.
Amit Banerjee
Si tout le modèle de robots.txt avait été fourni, cela aurait été utile.
Support WPBeginner
Nous avons inclus l'intégralité du fichier robots.txt
Admin
Michael
Je pense que vous devriez modifier votre réponse. Ce devrait être https au lieu de http. Est-il juste de refuser également les fichiers de plugin ?
Support WPBeginner
Merci de l'avoir signalé, notre exemple a été mis à jour. Pour refuser les plugins, vous devriez vérifier auprès du plugin spécifique pour être sûr.
Moinuddin Waheed
Merci pour ce post informatif sur le fichier robots.txt.
Je ne savais pas que les sites web devaient maintenir ce fichier afin de contrôler les robots de Google sur la manière dont ils doivent explorer nos pages et nos posts.
Pour les sites web débutants qui commencent tout juste, est-il nécessaire d'avoir un fichier robots.txt ou existe-t-il un moyen, comme un plugin, qui peut créer un fichier robots.txt pour notre site web ?
Support WPBeginner
La plupart des plugins SEO aident à configurer le robots.txt pour un nouveau site afin d'empêcher les robots d'explorer des sections qu'ils ne devraient pas.
Admin
Jiří Vaněk
Grâce à cet article, j'ai vérifié le fichier robots.txt et ajouté les adresses URL avec les sitemaps. En même temps, j'avais d'autres lignes problématiques là-bas, qui ont été révélées par le validateur. Je ne connaissais pas les sitemaps dans robots.txt jusqu'à présent. Merci.
Support WPBeginner
De rien, heureux que notre guide ait pu vous aider !
Admin
Stéphane
Bonjour,
Merci pour ce post, il devient plus clair comment utiliser le fichier robots.txt. Sur la plupart des sites web que vous trouvez en cherchant des conseils concernant le fichier robots.txt, vous pouvez voir que les dossiers suivants sont explicitement exclus de l'exploration (pour WordPress) :
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Je ne comprends pas vraiment les raisons d'exclure ces dossiers (y en a-t-il une en fait ?). Quelle serait votre opinion à ce sujet ?
Support WPBeginner
C'est principalement pour empêcher que quoi que ce soit dans ces dossiers n'apparaisse comme résultat lorsque l'utilisateur recherche votre site. Comme ce n'est pas votre contenu, ce n'est pas quelque chose que la plupart des gens voudraient voir apparaître dans les résultats du site.
Admin
zaid haris
Interdire : /wp-admin/
Autoriser : /wp-admin/admin-ajax.php
GSC affiche l'erreur de couverture pour « Disallow: /wp-admin/ ». Est-ce que c'est faux ?
Support WPBeginner
Pour la plupart des sites, vous ne voulez pas que quoi que ce soit de votre wp-admin apparaisse dans les résultats de recherche, il est donc normal et attendu de recevoir une zone de couverture lorsque vous refusez à Google la possibilité d'analyser votre wp-admin.
Admin
Hansini
Je crée mon robots.txt manuellement comme vous l'avez indiqué pour mon site WordPress.
J'ai un doute. quand j'écris User-Agent: * cela n'autorisera-t-il pas un autre robot de spam à accéder à mon site ?
Dois-je écrire User-Agent: * ou User-Agent: Googlebot ?
Support WPBeginner
La ligne User-Agent définit les règles que tous les robots doivent suivre sur votre site. Si vous spécifiez un bot particulier sur cette ligne, vous définissez des règles pour ce bot spécifique et aucun autre.
Admin
Nishant
Que devrions-nous écrire pour que Google indexe mon article ?
Support WPBeginner
Pour que votre site soit répertorié, vous devriez consulter notre article ci-dessous :
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Admin
Sanjeev Pandey
devons-nous également interdire /wp-content/themes/ ?
Il apparaît dans les résultats de recherche lorsque j'exécute la commande site:abcdef.com dans Google Search
Support WPBeginner
Vous ne voudriez pas vous soucier de bloquer votre dossier de thèmes et, comme vous écrivez du contenu optimisé pour le SEO, vous ne devriez plus voir les thèmes comme résultat de recherche.
Admin
Salem
HI, Que signifie "Disallow: /readme.html & Disallow: /refer/" ?
Support WPBeginner
Cela signifie que vous dites aux moteurs de recherche de ne pas regarder les liens de référence ni le fichier readme.html.
Admin
sean
Bonjour, quels sont les avantages et les inconvénients du blocage de wp-content/uploads
Merci
Support WPBeginner
Si vous bloquez votre dossier d'uploads, les moteurs de recherche ne parcourraient normalement pas votre contenu téléchargé comme les images.
Admin
Piyush
merci d'avoir résolu mon problème
Support WPBeginner
De rien
Admin
Ravi kumar
Monsieur, je suis très confus au sujet de robot.txt, j'ai soumis plusieurs fois mon plan de site dans Blogger, mais après 3, 4 jours, le même problème se pose. Qu'est-ce que robot.txt exactement ? & comment le soumettre, s'il vous plaît guidez-moi.
Support WPBeginner
Cela dépendrait de votre problème spécifique, vous voudrez peut-être consulter notre page ci-dessous :
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Admin
Prem
Si j'indexe une URL ou une page en utilisant le fichier robots.txt, Google affiche-t-il une erreur dans la Search Console ?
Support WPBeginner
Non, Google n'affichera pas la page, mais si la page est répertoriée, elle n'affichera pas d'erreur.
Admin
Bharat
Bonjour
J'ai une question
Je reçois un avertissement de problème de couverture de Google Search Console pour bloqué par robots.txt
/wp-admin/widgets.php
Ma question est, puis-je autoriser wp-admin/widgets.php dans robots.txt et est-ce sûr ?
Support WPBeginner
Si vous le souhaitez, vous pouvez, mais ce n'est pas un fichier que Google doit explorer.
Admin
Anthony
Bonjour, je me demande si vous devriez autoriser : /wp-admin/admin-ajax.php ?
Support WPBeginner
Normalement, oui, vous devriez.
Admin
Jaira
Puis-je savoir pourquoi vous devriez autoriser /wp-admin/admin-ajax.php ?
Support WPBeginner
Il est utilisé par différents thèmes et plugins pour apparaître correctement pour les moteurs de recherche.
Amila
Bonjour ! J'aime beaucoup cet article et comme je suis débutant avec tout ce qui concerne l'exploration, j'aimerais poser une question à ce sujet. Récemment, Google a exploré et indexé l'un de mes sites web d'une manière vraiment terrible, affichant des pages dans les résultats de recherche qui sont supprimées du site web. Le site web n'avait pas découragé les moteurs de recherche d'indexer dans les paramètres de WordPress au début, mais l'a fait plus tard après que Google ait montré 3 autres pages dans les résultats de recherche (ces pages n'existent pas non plus) et je ne comprends vraiment pas comment cela a pu arriver avec l'option « décourager les moteurs de recherche d'indexer » activée. Alors, la méthode Yoast peut-elle être utile et apporter une solution pour que mon site web soit indexé correctement par Google cette fois-ci ? Merci d'avance !
Support WPBeginner
Le plugin Yoast devrait être en mesure de vous aider à garantir que les pages que vous avez sont correctement indexées, il est possible qu'avant que vous n'ayez découragé les moteurs de recherche d'explorer votre site, votre page ait été mise en cache.
Admin
Amila
Eh bien oui et de toutes les pages, il a mis en cache celles qui n'existent plus. Quoi qu'il en soit, comme la page actuelle est réglée sur « décourager », est-il préférable de la laisser ainsi pour l'instant ou de décocher la case et de laisser Google l'explorer et l'indexer à nouveau avec l'aide de Yoast ? Merci ! Avec vos articles, tout est devenu plus facile !
Support WPBeginner
Vous voudrez que Google ré-explore votre site une fois qu'il sera configuré comme vous le souhaitez.
Pradhuman Kumar
Salut, j'ai adoré l'article, très précis et parfait.
Juste une petite suggestion, merci de mettre à jour l'image du testeur ROBOTS.txt, car la console Google a changé et ce serait génial si vous ajoutiez le lien pour vérifier le robots.txt depuis Google.
Support WPBeginner
Merci pour vos commentaires, nous ne manquerons pas d'examiner la mise à jour de l'article dès que nous le pourrons.
Admin
Kamaljeet Singh
Le fichier robots.txt de mon blog était :
User-Agent: *
crawl-delay: 10
Après avoir lu cet article, je l'ai modifié pour qu'il corresponde à votre fichier robots.txt recommandé. Est-ce que c'est bon si j'ai supprimé crawl-delay
Support WPBeginner
Cela devrait aller, crawl-delay indique aux moteurs de recherche de ralentir la fréquence d'exploration de votre site.
Admin
reena
Très bien décrit à propos de robot.text, je suis très heureux
vous êtes un très bon écrivain
Support WPBeginner
Merci, nous sommes heureux que notre article vous ait plu
Admin
JJ
Qu'est-ce que la page Disallow: /refer/ ? J'obtiens un 404, est-ce un fichier wp caché ?
Personnel éditorial
Nous utilisons /refer/ pour rediriger vers divers liens d'affiliation sur notre site Web. Nous ne voulons pas qu'ils soient indexés car ce ne sont que des redirections et non du contenu réel.
Admin
Sagar Arakh
Merci de partager. Cela m'a vraiment aidé à comprendre robots.txt
J'ai mis à jour mon robots.txt vers celui que vous avez suggéré. J'attends maintenant les résultats
Support WPBeginner
De rien, nous sommes heureux que vous soyez disposé à utiliser nos recommandations
Admin
Akash Gogoi
Article très utile. Merci beaucoup.
Support WPBeginner
Nous sommes heureux que notre article vous ait été utile
Admin
Zingylancer
Merci de partager ces informations utiles sur nous.
Support WPBeginner
Nous sommes heureux d'avoir pu partager ces informations sur le fichier robots.txt
Admin
Jasper
merci pour les informations mises à jour pour moi. Votre article était bon pour le fichier Robot txt. Il m'a apporté une nouvelle information. merci et tenez-moi informé des nouvelles idées.
Support WPBeginner
Nous sommes heureux que notre guide vous ait été utile
Admin
Imran
Merci, j'ai ajouté robots.txt dans WordPress. Très bon article
Support WPBeginner
Merci, nous sommes heureux que notre article vous ait été utile
Admin