Vous travaillez sur un site WordPress qui n'est pas encore prêt à être lancé ? Vous ne voulez probablement pas que des pages inachevées apparaissent dans les résultats de recherche avant que vous ne soyez prêt.
Dans ce guide, nous vous montrerons comment contrôler le crawl et l'indexation par les moteurs de recherche dans WordPress. Nous expliquerons également quelle méthode utiliser pour masquer un site entier, une page unique ou un dossier spécifique.
Important : Le crawl est différent de l'indexation
Beaucoup de débutants empêchent les moteurs de recherche de crawler leur site alors qu'ils veulent en réalité arrêter l'indexation. Il est important de comprendre la différence entre les deux.
Le crawl est lorsque les robots des moteurs de recherche visitent votre site pour découvrir du contenu. L'indexation est lorsqu'ils ajoutent ce contenu à leur base de données consultable.
Considérez cela comme un bibliothécaire qui lit un nouveau livre (exploration) puis l'ajoute au catalogue de la bibliothèque (indexation).
C'est important car bloquer le crawl n'empêche pas toujours l'indexation. Si Google découvre une URL bloquée via des liens provenant d'autres sites Web, il peut toujours indexer l'URL. Comme Google ne peut pas crawler la page, il peut afficher « Aucune information n'est disponible pour cette page » dans les résultats de recherche.
Vous voulez savoir s'il faut désactiver le crawl ou l'indexation sur votre site ? Voici un guide rapide :
| Cas d'utilisation | Ce qu'il faut faire | Outil approprié |
|---|---|---|
| Masquer un site entier qui n'est pas encore lancé | Bloquer tout accès | Réglage de lecture WordPress + protection par mot de passe |
| Supprimer une page ou un article de Google | Le laisser crawlable et arrêter l'indexation | Ajouter une balise noindex |
| Écarter les robots d'un dossier | Arrêter le crawl de ce dossier | robots.txt Refuser |
Cliquez sur les liens ci-dessous pour accéder à la méthode de votre choix :
- Méthode 1 : Utiliser le réglage WordPress pour décourager l'indexation
- Méthode 2 : Empêcher l'indexation d'une seule page ou d'un seul article
- Méthode 3 : Modifier manuellement votre fichier robots.txt
- Méthode 4 : Utiliser X-Robots-Tag pour empêcher l'indexation
- Méthode 5 : Protéger l'ensemble du site par mot de passe avec cPanel
- FAQ sur l'arrêt du crawl d'un site WordPress par les moteurs de recherche
Méthode 1 : Utiliser le réglage WordPress pour décourager l'indexation
WordPress dispose d'un réglage intégré qui demande aux moteurs de recherche de ne pas indexer votre site. Allez dans Réglages » Lecture et cochez « Décourager les moteurs de recherche d'indexer ce site ».
Lorsque vous l'activez, WordPress ajoute une balise méta robots noindex,nofollow à vos pages :
<meta name="robots" content="noindex,nofollow">
La directive noindex demande aux moteurs de recherche de ne pas inclure vos pages dans les résultats de recherche, tandis que nofollow leur demande de ne pas suivre les liens sur ces pages.
WordPress avertit également que c'est aux moteurs de recherche d'honorer cette demande. En d'autres termes, ce réglage demande aux moteurs de recherche de ne pas indexer votre site, mais ne les empêche pas d'y accéder.
Si vous voulez rendre impossible l'indexation ou le crawl de votre site Web par les moteurs de recherche, vous devrez alors protéger votre site WordPress par mot de passe.
Méthode 2 : Empêcher l'indexation d'une seule page ou d'un seul article
Si vous souhaitez que votre site reste dans les résultats de recherche mais qu'une page ou un article n'apparaisse pas sur Google, ajoutez une directive noindex à cette page.
La plupart des plugins SEO WordPress gratuits peuvent le faire. Nous utilisons la version gratuite de All in One SEO sur WPBeginner, nous allons donc vous montrer comment cela fonctionne avec. Installez, activez et configurez le plugin sur votre site web.
Ensuite, modifiez l'article ou la page que vous souhaitez supprimer des résultats de recherche. Faites défiler jusqu'à Paramètres AIOSEO et basculez vers l'onglet « Avancé ». Désactivez « Utiliser les paramètres par défaut » et sélectionnez « No Index ».
Cliquez sur « Mettre à jour » ou « Publier » pour enregistrer vos modifications. AIOSEO ajoutera maintenant la directive noindex à la page, indiquant aux moteurs de recherche de ne pas l'inclure dans leurs index.
Méthode 3 : Modifier manuellement votre fichier robots.txt
Utilisez robots.txt lorsque vous souhaitez indiquer aux robots d'exploration de ne pas explorer une partie spécifique de votre site WordPress, plutôt que de bloquer le site entier. Par exemple, vous pouvez empêcher les robots d'explorer un dossier /private/ tout en leur permettant d'explorer le reste de votre site.
WordPress génère normalement votre fichier robots.txt automatiquement. Vous pouvez le consulter en visitant votredomaine.com/robots.txt.
La plupart des plugins SEO WordPress gratuits, y compris All in One SEO, vous permettent de modifier robots.txt directement depuis votre tableau de bord WordPress. Alternativement, vous pouvez créer ou modifier un fichier robots.txt dans le répertoire racine de votre site en utilisant le gestionnaire de fichiers de votre hébergement ou FTP. Pour des instructions détaillées, consultez notre guide sur comment optimiser votre robots.txt WordPress pour le SEO.
Une fois le fichier ouvert, copiez le code ci-dessous dans votre fichier robots.txt.
User-agent: *
Disallow: /private/
Assurez-vous de remplacer /private/ par le chemin d'URL que vous souhaitez que les moteurs de recherche arrêtent d'explorer.
Méthode 4 : Utiliser X-Robots-Tag pour empêcher l'indexation
Si vous avez besoin de garder un fichier tel qu'un PDF hors des résultats de recherche, vous pouvez utiliser l'en-tête HTTP X-Robots-Tag. Contrairement à une balise meta robots, cela fonctionne avec des fichiers qui n'ont pas de page HTML où vous pouvez ajouter noindex.
Pour les serveurs Apache, ajoutez le code suivant à votre fichier .htaccess :
<FilesMatch ".pdf$">
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex"
</IfModule>
</FilesMatch>
Si vous utilisez AIOSEO, vous pouvez également modifier votre fichier .htaccess depuis All in One SEO » Outils » Éditeur .htaccess.
Attention : La modification du fichier .htaccess peut casser votre site web si elle est mal effectuée. Veuillez vous assurer de sauvegarder votre site WordPress ou de faire une copie de votre fichier .htaccess avant d'apporter des modifications.
Méthode 5 : Protéger l'ensemble du site par mot de passe avec cPanel
Si votre site est encore en construction et que vous souhaitez empêcher les moteurs de recherche d'y accéder, vous devrez activer la protection par mot de passe sur l'ensemble de votre site. Cela empêche les visiteurs et les robots d'explorer le site jusqu'à ce que vous supprimiez le mot de passe.
Si votre fournisseur d'hébergement propose cPanel, connectez-vous à votre compte et ouvrez « Confidentialité du répertoire » sous « Fichiers ».
Trouvez le répertoire où WordPress est installé. C'est souvent public_html. Si vous avez plusieurs sites, ouvrez public_html et sélectionnez le dossier du site que vous souhaitez protéger.
Cliquez sur « Modifier » à côté du répertoire. Sur le nouvel écran, cochez « Protéger ce répertoire par mot de passe », entrez un nom pour le répertoire protégé et cliquez sur « Enregistrer ».
Utilisez ensuite la section « Créer un utilisateur » pour entrer un nom d'utilisateur et un mot de passe. Votre site nécessitera désormais ces informations de connexion avant que quiconque puisse y accéder, y compris les robots d'exploration des moteurs de recherche.
Gardez à l'esprit que la protection par mot de passe au niveau du serveur bloque tout accès au site. Les services externes tels que les passerelles de paiement ou les tâches cron peuvent ne pas fonctionner tant que vous n'avez pas supprimé la protection.
FAQ sur l'arrêt du crawl d'un site WordPress par les moteurs de recherche
1. La protection par mot de passe de mon site nuira-t-elle à mon référencement lorsque je serai prêt à lancer ?
Non. La protection par mot de passe de votre site pendant sa construction ne nuira pas à votre référencement. Une fois le mot de passe supprimé, les moteurs de recherche pourront explorer et indexer vos pages normalement.
2. Comment désactiver le référencement dans WordPress ?
WordPress n'a pas de paramètre pour « désactiver le référencement ». Si vous souhaitez que votre site soit exclu des résultats de recherche, activez « Décourager les moteurs de recherche d'indexer ce site » sous Paramètres » Lecture.
3. Comment cacher mon site WordPress des moteurs de recherche pendant les tests ?
Protégez le site par mot de passe via votre panneau de contrôle d'hébergement si votre hébergeur propose cette option. Par exemple, les utilisateurs de cPanel peuvent utiliser la confidentialité du répertoire pour exiger un nom d'utilisateur et un mot de passe avant que quiconque puisse accéder au site.
4. Quelle est la différence entre noindex et nofollow ?
noindex indique aux moteurs de recherche de ne pas inclure une page dans les résultats de recherche. nofollow leur indique de ne pas suivre les liens sur cette page. Ils contrôlent des choses différentes et peuvent être utilisés ensemble si nécessaire.
Nous espérons que cet article vous a aidé à empêcher les moteurs de recherche d'explorer ou d'indexer votre site WordPress. Vous voudrez peut-être consulter notre liste de contrôle SEO WordPress lorsque vous serez prêt à lancer votre site Web.
Si vous avez aimé cet article, abonnez-vous à notre Chaîne YouTube pour des tutoriels vidéo WordPress. Vous pouvez également nous trouver sur Twitter et Facebook.
Oyatogun Oluwaseun Samuel
Wow ! Merci wpBeginner, je n'avais jamais pensé à activer la protection par mot de passe sur le dossier public_html. Merci de fournir cette perspective. Merci beaucoup !
Jiří Vaněk
J'ai lu que souvent ces procédures, ainsi que robots.txt, ne sont que des comportements recommandés pour un robot. Comment éviter d'être recherché réellement. Est-il possible, par exemple, de bloquer les plages de Google et Bing, par exemple, à l'aide d'un fichier .htaccess ?
Support WPBeginner
Vous utiliseriez la méthode 3 ou 4 pour bloquer complètement l'accès à votre site.
Admin
Jiří Vaněk
Je comprends, mais je suppose que le site web ne sera alors pas public et que seules les personnes connaissant le nom d'utilisateur et le mot de passe pourront y accéder ? Mon idée était juste d'essayer de trouver les plages d'adresses IP des bots et de les bloquer au niveau du fichier htacess, par exemple. Est-ce que cela a du sens ou est-ce absurde ?
Support WPBeginner
Il n'y a aucune garantie que les bots ne trouveraient pas le site plus tard avec une adresse IP différente. Si vous voulez être sûr que votre site ne soit pas exploré, vous voudrez qu'il s'agisse d'un site privé, sinon la meilleure option est d'utiliser robots.txt pour demander que le site ne soit pas exploré.
Jiří Vaněk
Je comprends, et merci pour votre réponse. Je pensais pouvoir résoudre le problème en bloquant la plage, mais vous avez raison, le bot pourrait provenir d'une autre IP ou d'une nouvelle plage. J'essaierai de me fier au fichier robots.txt et j'espère que tout ira bien.
mohadese esmaeeli
La croyance répandue selon laquelle un grand nombre de pages indexées sur un site n'a aucun effet sur l'indexation des autres pages est-elle correcte ?
Support WPBeginner
Ce n'est pas parce que vous avez des pages indexées sur votre site que vous ne pouvez pas avoir d'autres pages cachées aux robots d'exploration pour empêcher leur indexation.
Admin
Moinuddin Waheed
Je suis plusieurs fois resté pensif dans l'onglet des réglages du tableau de bord WordPress en me demandant pourquoi quelqu'un voudrait décourager Google d'afficher la page ou l'article. Aujourd'hui, en fait, après avoir lu cet article, j'ai compris les raisons pour lesquelles quelqu'un découragerait l'indexation par les moteurs de recherche.
C'est très simple à faire en fait. nous devons cocher la case dans la section des réglages, section lecture, où il est demandé de décourager les moteurs de recherche pour la visibilité.
Merci d'avoir dissipé mon doute de longue date.
Support WPBeginner
Heureux que nous partagions pourquoi quelqu'un utiliserait la case à cocher
Admin
Charlotte
C'était exactement ce que je cherchais. Après avoir déplacé mon site de développement vers le site en direct du client, je ne voulais plus qu'aucun trafic ne revienne sur l'ancien. Merci !
Support WPBeginner
Nous sommes heureux que notre guide vous ait été utile
Admin
Ryan
J'ai supprimé définitivement mon site de WordPress et lorsque je tape mon nom sur Google, l'ancien site WordPress apparaît toujours, bien qu'il ait disparu. Quelqu'un de l'équipe de support peut-il m'aider à le supprimer ? Je ne veux pas que mes clients soient confus avec mon site réel et actif.
Support WPBeginner
Pour votre ancien site dans les résultats sur Google, si vous explorez le site comme Google, cela peut aider à mettre à jour le cache de Google. Pour plus de moyens de supprimer complètement le site, vous voudrez consulter notre article ici : https://014.leahstevensyj.workers.dev/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Admin
Divyanshu
si nous désactivons l'indexation du site WordPress pour le protéger des pirates, cela affectera-t-il l'indexation de Google ou non, et si oui, comment autoriser Google à indexer mes pages
Andy
Ne semble pas fonctionner. J'ai suivi les instructions avec confiance. Mon sous-domaine est toujours visible publiquement.
Support WPBeginner
Salut Andy,
Si vous avez protégé par mot de passe votre répertoire de sous-domaine, veuillez vérifier à nouveau ses paramètres dans cPanel. Si tout semble correct, vous voudrez peut-être contacter votre fournisseur d'hébergement WordPress.
Admin
Jay
Oui, ce qui est écrit sous « Décourager les moteurs de recherche d'indexer le site » est très vrai. Google ne semble pas en tenir compte
chinju
Bonjour, j'ai un doute : si un site web a 1 million de sous-pages, le moteur de recherche bloquera-t-il toutes les sous-pages lorsque nous ajouterons
User-agent: *
Disallow: /
dans le fichier robots ?
Shekhar Sardar
Oui. L'ajout de Disallow:/ dans robot.txt indiquera à tous les robots des moteurs de recherche de ne pas explorer ce site ou cette page Web.
anand
je veux que les pages de membres et la page de profil des membres ne soient pas indexées par les moteurs de recherche, comment faire ????
Kenneth
J'ai essayé cela mais cela a perturbé mon .htccess pour mon installation Wordpress.
Procédez donc avec prudence.
Joojo
Bonjour,
J'ai actuellement un blog Wordpress.com (plan gratuit) et je souhaite vendre mes articles numériques en ligne sans créer de site Web et en m'appuyant entièrement sur le blog, au début (j'ai manqué de fonds). Ainsi, en poursuivant cette idée, j'ai apporté des modifications à mon blog, sous cela, après avoir effectué le paiement, le client est redirigé vers ma page de blog avec un lien pour télécharger le contenu numérique. Donc, je veux juste que la passerelle de paiement puisse rediriger le trafic vers la page de téléchargement sur mon blog et ne pas qu'elle soit consultable par les moteurs de recherche, etc. et qu'elle ne soit pas non plus répertoriée dans la liste des articles/pages de Wordpress.com, etc. car si la page de téléchargement est consultable par les moteurs de recherche et répertoriée dans les articles de mon blog, je ne gagnerais rien car le client téléchargerait directement le contenu sans effectuer le paiement.
Cordialement,
Joojo.
Jennifer
J'apprends WP maintenant et je conçois mon site. Pour l'instant, je ne veux pas que le site soit exploré, j'ai donc coché la case Visibilité des moteurs de recherche et j'ai ajouté la protection par mot de passe. Cependant, dans quelques mois, je voudrai que le site soit mis en ligne et j'aurai des visiteurs sur mon site. Si je décoche la case Visibilité des moteurs de recherche et retire la protection par mot de passe, l'en-tête robots nofollow sera-t-il automatiquement mis à jour ? Ou devrai-je le mettre à jour manuellement dans la section en-tête ?
Support WPBeginner
Oui, ce sera le cas. Cependant, pour être plus sûr, vous devez soumettre le sitemap xml de votre site à l'aide des outils pour webmasters de Google. Cela vous permettra de voir si des erreurs d'exploration sont trouvées sur votre site.
Admin
Ryan
Est-il possible de bloquer uniquement des pages spécifiques de votre site, plutôt que de bloquer le site entier ?
Chad
Wordpress offre une option de protection par mot de passe sur toutes vos pages et publications. Changez simplement la « visibilité » dans l'édition de votre page ou publication en « protégé par mot de passe ».
L'équipe de WPBeginner
Veuillez consulter ce fil de discussion.
Patrick
Comment puis-je faire en sorte que Google et Bing explorent mon site tout en empêchant SeMalt de le faire. SeMalt envoie du trafic sur mon site, donnant l'impression que j'ai plus de visites, cependant ces clics quittent mon site immédiatement et augmentent ainsi le taux de rebond de mon site WordPress.
Toute aide à ce sujet serait appréciée.
Patrick
Pawan Reddy
Merci pour cette astuce. Je ne savais pas que c'était possible