Comment empêcher les moteurs de recherche d'explorer un site WordPress

Lorsque vous créez un nouveau site WordPress, vous voudrez le garder caché des moteurs de recherche jusqu'à ce qu'il soit prêt pour les visiteurs. Nous faisons cela pour tous nos nouveaux projets, car c'est une étape clé pour un lancement fluide et professionnel.

Contrôler ce que les moteurs de recherche peuvent voir est essentiel pour protéger le contenu privé et le futur SEO de votre site. Cela vous donne un contrôle total sur le moment où votre site devient public.

Après des années d'expérience, nous avons trouvé les méthodes les plus fiables pour gérer la visibilité du site. Ce sont les mêmes techniques simples que nous utilisons pour nos propres sites Web et que nous recommandons à nos lecteurs.

Maintenant, parcourons les étapes exactes pour empêcher les moteurs de recherche d'explorer votre site WordPress.

Pourquoi empêcher les moteurs de recherche d'explorer un site WordPress ?

Pour la plupart des sites Web WordPress, les moteurs de recherche sont la plus grande source de trafic. Vous pourriez vous demander pourquoi quelqu'un voudrait décourager les moteurs de recherche ?

Voici quelques situations où vous ne voudrez pas que les moteurs de recherche indexent votre site Web :

• Au début, vous ne savez peut-être pas comment créer un environnement de développement local ou un site de staging, et vous développez votre site Web pendant qu'il est en ligne. Vous ne voudrez pas que Google indexe votre site lorsqu'il est en construction ou en mode maintenance.

• Il y a aussi beaucoup de personnes qui utilisent WordPress pour créer des blogs privés. Ils ne veulent pas qu'ils soient indexés par les moteurs de recherche car ils sont privés.

• Vous pouvez utiliser WordPress pour la gestion de projet ou une intranet. Dans ces cas, vous ne voudrez pas que vos documents internes soient accessibles au public.

Une idée fausse courante est que si vous n'avez pas de liens pointant vers votre domaine, les moteurs de recherche ne trouveront probablement jamais votre site Web. Ce n'est pas entièrement vrai.

Par exemple, il peut y avoir des liens pointant vers votre site car le nom de domaine appartenait auparavant à quelqu'un d'autre. De plus, il existe des milliers de pages sur Internet qui listent simplement des noms de domaine. Votre site peut apparaître sur l'une d'entre elles.

Avant de plonger dans les méthodes, clarifions rapidement deux termes importants :

• Le crawl (exploration) est lorsque les robots des moteurs de recherche (comme Googlebot) visitent votre site Web pour découvrir son contenu.
• L'indexation est lorsqu'ils ajoutent ce contenu à leur base de données de recherche massive afin qu'il puisse apparaître dans les résultats de recherche.

Pensez-y comme un bibliothécaire qui lit un nouveau livre (exploration) puis l'ajoute au catalogue de la bibliothèque (indexation). Certaines des méthodes ci-dessous arrêtent complètement l'exploration, tandis que d'autres empêchent simplement l'indexation. Nous allons clarifier lesquels sont lesquels !

Cela étant dit, jetons un coup d'œil à la façon d'empêcher les moteurs de recherche d'explorer votre site Web. Nous couvrirons quatre méthodes :

1. Demander aux moteurs de recherche de ne pas explorer votre site WordPress
2. Demander aux moteurs de recherche de ne pas explorer les pages individuelles
3. Protéger par mot de passe un site entier à l'aide de cPanel
4. Protection par mot de passe de WordPress avec un plugin
5. Foire aux questions (FAQ)
6. Guides d'experts sur l'exploration et l'indexation par les moteurs de recherche

Méthode 1 : Demander aux moteurs de recherche de ne pas explorer votre site WordPress

C'est la méthode la plus simple, mais elle ne protège pas entièrement votre site web contre l'exploration.

WordPress dispose d'une fonctionnalité intégrée qui vous permet d'indiquer aux moteurs de recherche de ne pas indexer votre site. Il vous suffit de vous rendre dans Paramètres » Lecture et de cocher la case « Visibilité pour les moteurs de recherche ».

Lorsque cette case est cochée, WordPress ajoute cette ligne à l'en-tête de votre site web :

<meta name='robots' content='noindex,follow' />

Cette balise indique aux moteurs de recherche de ne pas afficher cette page dans les résultats de recherche (noindex), mais qu'ils peuvent toujours suivre les liens de cette page pour en découvrir d'autres (follow).

WordPress modifie également le fichier robots.txt de votre site et y ajoute une règle de désindexation :

User-agent: *
Disallow: /

Ces lignes demandent aux robots (robots d'exploration ou bots) de ne pas indexer vos pages web. Cependant, il appartient entièrement aux moteurs de recherche d'accepter ou d'ignorer cette demande. Bien que la plupart des moteurs de recherche respectent la demande, il existe toujours une possibilité que certaines pages ou images de votre site soient indexées.

Si vous souhaitez empêcher les moteurs de recherche d'indexer ou d'explorer votre site web, vous devrez protéger votre site WordPress par mot de passe en utilisant les méthodes 3 ou 4.

Méthode 2 : Demander aux moteurs de recherche de ne pas indexer des pages individuelles

Vous pourriez souhaiter que les moteurs de recherche explorent et indexent votre site web, mais n'incluent pas une certaine publication ou une page spécifique dans les résultats de recherche.

La façon la plus simple de le faire est d'utiliser le plugin All in One SEO (AIOSEO). C'est le meilleur outil SEO pour WordPress et il est utilisé par plus de 3 millions d'entreprises.

Pour ce tutoriel, nous utiliserons la version gratuite d'AIOSEO car elle inclut l'outil d'analyse SEO. Il existe également une version premium d'AIOSEO qui offre plus de fonctionnalités comme des outils de sitemap, un gestionnaire de redirections, le balisage schema, un éditeur robots.txt, et plus encore.

La première chose à faire est d'installer et d'activer le plugin AIOSEO sur votre site web. Vous pouvez apprendre comment installer et configurer le plugin en suivant notre guide étape par étape sur comment configurer All in One SEO pour WordPress.

Une fois le plugin configuré, vous pouvez l'utiliser pour demander aux moteurs de recherche de ne pas indexer certains articles et pages. Encore une fois, il appartient entièrement aux moteurs de recherche d'accepter cette demande ou de l'ignorer.

Modifiez simplement l'article ou la page que vous ne souhaitez pas voir indexer. Vous devez faire défiler vers le bas jusqu'aux paramètres AIOSEO en bas de l'éditeur WordPress, puis cliquer sur l'onglet 'Avancé'.

Notez que l'article utilise les paramètres robots par défaut.

Pour changer cela, vous devez désactiver le bouton bascule 'Utiliser les paramètres par défaut'.

Maintenant, vous pouvez cocher la case 'Ne pas indexer'. Une fois l'article publié ou mis à jour, il sera demandé aux moteurs de recherche de ne pas l'indexer.

Pour en savoir plus, consultez notre test détaillé d'AIOSEO.

Méthode 3 : Protéger un site entier par mot de passe à l'aide de cPanel

Si votre fournisseur d'hébergement WordPress offre un accès cPanel pour gérer votre compte d'hébergement, vous pouvez alors protéger l'intégralité de votre site à l'aide de cPanel.

Tout ce que vous avez à faire est de vous connecter à votre tableau de bord cPanel, puis de cliquer sur l'icône 'Confidentialité du répertoire' dans la section 'Fichiers'.

Ensuite, vous devez trouver le dossier où vous avez installé WordPress. Habituellement, c'est le dossier public_html.

Après cela, cliquez simplement sur le bouton 'Modifier' à côté de ce dossier.

Cela vous amène à un écran où vous pouvez activer la protection par mot de passe.

Cochez simplement la case qui dit « Protéger ce répertoire par mot de passe » et cliquez sur le bouton « Enregistrer ». Si vous le souhaitez, vous pouvez également personnaliser le nom du répertoire protégé.

Vous verrez un message de confirmation indiquant que les autorisations d'accès au répertoire ont été modifiées.

Ensuite, vous devez cliquer sur le bouton « Retour ».

Vous serez redirigé vers un écran où vous pourrez créer un nom d'utilisateur et un mot de passe qui devront être utilisés lors de l'accès à ce répertoire.

Vous devez entrer un nom d'utilisateur et un mot de passe, puis confirmer le mot de passe. Assurez-vous de noter votre nom d'utilisateur et votre mot de passe dans un endroit sûr, tel qu'une application de gestion de mots de passe.

Une fois que vous avez cliqué sur le bouton « Enregistrer », vous avez ajouté avec succès la protection par mot de passe à votre site WordPress.

Désormais, chaque fois qu'un utilisateur ou un moteur de recherche visite votre site Web, il sera invité à saisir le nom d'utilisateur et le mot de passe que vous avez créés précédemment pour afficher le site.

Méthode 4 : Protéger WordPress par mot de passe avec un plugin

Si vous utilisez une solution d'hébergement WordPress géré, vous n'aurez peut-être pas accès à cPanel. Dans ce cas, vous pouvez utiliser un plugin WordPress pour protéger votre site par mot de passe.

Voici les deux solutions les plus populaires :

1. SeedProd est le plugin n°1 de mode 'bientôt disponible' et mode maintenance pour WordPress, utilisé sur plus de 2 millions de sites web. Il offre un contrôle d'accès et des autorisations complets que vous pouvez utiliser pour masquer votre site web à tout le monde, y compris aux moteurs de recherche. Nous avons un guide étape par étape pour SeedProd.
2. Password Protected est un moyen très simple de protéger votre site WordPress par mot de passe avec un seul mot de passe (aucune création d'utilisateur nécessaire). Consultez notre guide étape par étape sur comment protéger par mot de passe un site WordPress.

Foire aux questions (FAQ)

Voici les réponses à certaines des questions les plus fréquentes que nous recevons concernant l'arrêt de l'exploration des sites WordPress par les moteurs de recherche.

1. Quelle est la différence entre bloquer l'exploration et bloquer l'indexation ?

Bloquer l'exploration (en utilisant robots.txt) revient à placer un panneau « Accès interdit ». Cela demande aux robots des moteurs de recherche de ne pas consulter le contenu de votre site. Bloquer l'indexation (en utilisant une balise noindex) indique aux moteurs de recherche de ne pas lister votre site dans leurs résultats de recherche, même s'ils l'ont exploré.

2. L'option intégrée à WordPress « Décourager les moteurs de recherche » est-elle suffisante pour masquer mon site ?

Pour un développement temporaire, c'est souvent suffisant. Cependant, cette méthode n'est qu'une requête, et certains moteurs de recherche pourraient ne pas en tenir compte. Pour une confidentialité complète ou pour protéger des informations sensibles, la protection par mot de passe est la seule méthode garantie.

3. La protection par mot de passe de mon site nuira-t-elle à mon SEO lorsque je serai prêt à lancer ?

Non, cela ne nuira pas à votre SEO. Lorsque votre site est protégé par mot de passe, les moteurs de recherche ne peuvent pas y accéder, il n'a donc aucun classement SEO (positif ou négatif). Une fois que vous aurez supprimé la protection par mot de passe et autorisé l'indexation, les moteurs de recherche commenceront à l'explorer et à le classer normalement.

4. Comment puis-je vérifier si Google a déjà indexé mon site ?

Le moyen le plus simple est d'effectuer une recherche de site sur Google. Allez sur google.com et tapez site:votredomaine.com dans la barre de recherche, en remplaçant « votredomaine.com » par l'adresse de votre site web. Si des résultats apparaissent, votre site a été indexé.

Guides d'experts sur l'exploration et l'indexation par les moteurs de recherche

Nous espérons que cet article vous a aidé à empêcher les moteurs de recherche d'explorer ou d'indexer votre site WordPress. Vous pourriez vouloir consulter d'autres guides liés à l'exploration et à l'indexation par les moteurs de recherche :

• Comment masquer une page WordPress de Google
• Comment faire apparaître mon site WordPress sur Google ? (Guide pour débutants)
• Pourquoi mon site WordPress a-t-il été désindexé de Google ?
• Comment demander à Google de recrawler les URL de votre site WordPress
• Comment optimiser votre fichier Robots.txt WordPress pour le SEO
• Le problème du budget d'exploration SEO de WordPress et comment le résoudre

Si cet article vous a plu, abonnez-vous à notre chaîne YouTube pour des tutoriels vidéo WordPress. Vous pouvez également nous retrouver sur Twitter et Facebook.