Comment résoudre le problème du budget d'exploration SEO dans WordPress

Le budget d'exploration est la limite que Google fixe sur le nombre de pages qu'il explorera sur votre site Web.

En plus de vos articles et pages, WordPress génère plusieurs URL supplémentaires que les moteurs de recherche peuvent explorer et indexer. Cela signifie que Google peut dépenser votre budget d'exploration sur des pages inutiles au lieu de votre contenu important.

Dans cet article, nous vous montrerons comment optimiser votre budget d'exploration dans WordPress, afin que Google trouve votre contenu important en premier.

Réponse rapide : Comment corriger le budget d'exploration dans WordPress

Bloquer les URL inutiles avec les paramètres de nettoyage d'exploration de votre plugin SEO ou robots.txt garantit que votre budget d'exploration n'est pas gaspillé.

La plupart des petits sites Web n'épuiseront jamais leur budget d'exploration. Cependant, WordPress crée beaucoup plus d'URL que vous ne publiez. Google peut finir par gaspiller son budget d'exploration sur ces URL, et vos pages importantes peuvent ne pas être explorées rapidement ou fréquemment.

Utilisez les liens rapides ci-dessous pour accéder directement à la correction dont vous avez besoin :

Qu'est-ce que le budget d'exploration et comment le vérifier ?

Le budget d'exploration est le nombre de pages qu'un moteur de recherche comme Google explorera sur votre site Web dans un délai donné. Il y a deux facteurs principaux :

• Capacité d'exploration : Nombre de requêtes que Google peut effectuer sans planter ou ralentir votre serveur. Si votre serveur est rapide et fiable, votre capacité est élevée.
• Demande d'exploration : Quantité d'exploration que Google souhaite effectuer sur votre site en fonction de sa popularité, de sa qualité globale et de la fréquence à laquelle vous publiez du nouveau contenu.

Lorsque des pages de faible valeur ou des serveurs lents consomment votre budget d'exploration, Google explore moins et il faut plus de temps pour indexer votre nouveau contenu.

Il est utile de prendre un moment pour examiner votre rapport sur les statistiques d'exploration dans Google Search Console. Il vous indique quand et à quelle fréquence Googlebot visite votre site Web. Ouvrez simplement Google Search Console et accédez à Paramètres » Statistiques d'exploration » Ouvrir le rapport pour le consulter.

Une fois dans le rapport, Google décompose les requêtes d'exploration de quatre manières. Voici ce que chacun montre :

• Par réponse. Comment votre serveur a répondu à chaque requête, y compris « OK (200) », « Non trouvé (404) », les redirections et les erreurs serveur (5XX).
• Par type de fichier. Ce que Googlebot a téléchargé parmi les pages HTML, les images, le CSS et le JavaScript.
• Par objectif. « Découverte » signifie que Google explore une URL pour la première fois, tandis que « Actualisation » signifie qu'il ré-explore des pages qu'il connaît déjà.
• Par type de Googlebot. Indique quel robot d'exploration a effectué la requête. Une part élevée de « Smartphone » est normale, car Google explore principalement la version mobile de votre site.

Cliquez sur n'importe quelle ligne de ces rapports pour afficher les URL spécifiques et leurs statistiques d'exploration individuelles. Ces données vous montreront également exactement les corrections dont votre site a besoin :

• Une grande partie des réponses « Non trouvé (404) » ou « Erreur serveur (5XX) » signifie que des URL mortes consomment des requêtes. Vous pouvez résoudre ce problème en nettoyant vos chaînes de redirection et en corrigeant les liens brisés.
• Un grand nombre « Syndication » signifie que Google dépense des requêtes pour les flux au lieu de votre contenu. Vous pouvez facilement arrêter ce gaspillage en bloquant ces URL inutiles.
• Si votre statistique d'exploration « Découverte » reste élevée même lorsque vous ne publiez pas de nouveau contenu, Google perd probablement du temps sur des URL générées automatiquement, comme les pages de tri et de filtrage. Vous pouvez y remédier en appliquant les mêmes règles de blocage robots.txt.
• Les temps de réponse moyens lents ou les erreurs serveur répétées limitent votre budget global. C'est un signe clair qu'il est temps de accélérer votre serveur.

Enfin, vérifiez la métrique « Découvertes – non indexées actuellement » dans votre rapport d'indexation des pages. Google l'utilise lorsqu'il retarde une exploration pour éviter de planter votre serveur. Un nombre élevé ici est un indicateur direct que l'exploration de votre site est limitée.

Bloquez les URL qui gaspillent l'exploration avec robots.txt ou votre plugin SEO

La plupart du budget d'exploration gaspillé provient des URL que WordPress et vos plugins génèrent automatiquement, et non des articles que vous écrivez.

Ces URL inutiles comprennent les flux, les liens de réponse aux commentaires, les résultats de recherche internes, les paramètres de suivi de vos campagnes et publicités, et les paramètres de filtrage WooCommerce.

Avant de commencer à interdire des URL, gardez deux choses à l'esprit :

• Ne désactivez jamais les CSS ou les JS. Google doit charger ces fichiers pour afficher correctement vos pages.
• Ne bloquez pas une URL que vous prévoyez de noindexer. Une balise noindex demande à Google de ne pas inclure une page dans les résultats de recherche. Cependant, Google doit explorer la page WordPress pour voir cette balise, donc bloquer l'URL dans robots.txt signifie que Google ne la lit jamais.

Rédigez vos règles robots.txt à la main

Le fichier robots.txt est un fichier texte brut qui se trouve à la racine de votre site web. Il indique aux robots des moteurs de recherche quelles URL ils ne doivent pas visiter.

Vous pouvez modifier manuellement votre fichier robots.txt via votre compte d'hébergement. Cependant, utiliser l'éditeur intégré de votre plugin SEO est beaucoup plus simple.

Par exemple, dans All in One SEO, vous le trouverez sous All in One SEO » Outils » Éditeur Robots.txt.

D'autres plugins populaires comme Yoast SEO et Rank Math offrent des éditeurs robots.txt similaires.

Commencez par identifier les modèles d'URL que vous ne voulez pas explorer, comme /?s= pour la recherche interne, ?replytocom= ajouté aux URL des articles pour les liens de réponse aux commentaires, et /feed/ pour les flux RSS.

Avant de bloquer vos flux RSS, assurez-vous de ne pas en avoir besoin pour un podcast, une newsletter automatisée par e-mail ou des lecteurs de flux. Une fois que vous savez qu'ils ne sont pas utilisés, ajoutez une règle Disallow pour chacun d'eux.

User-agent: *
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /*/feed/

Une fois vos règles enregistrées, vérifiez-les avec le rapport robots.txt de Google Search Console avant de continuer.

Confirmez que vos nouvelles règles Disallow y apparaissent sans erreurs de syntaxe signalées.

Configurez Crawl Cleanup dans votre plugin SEO

Si vous préférez ne pas écrire les règles robots.txt à la main, les paramètres de nettoyage d'exploration de votre plugin SEO peuvent faire le même travail avec de simples interrupteurs.

Si vous utilisez AIOSEO, vous le trouverez sous All in One SEO » Apparence du site » Avancé. Activez ensuite « Nettoyage d'exploration ». L'outil Nettoyage d'exploration vous permet de désactiver les flux RSS inutiles (comme ceux que WordPress génère automatiquement pour les commentaires, les auteurs et les pièces jointes), de bloquer les robots indésirables et d'arrêter l'exploration des URL de recherche internes.

Assurez-vous de laisser votre flux principal du site activé. C'est pourquoi AIOSEO le marque comme « non recommandé de désactiver ».

Yoast SEO a la même fonctionnalité sous Yoast SEO » Paramètres » Avancé » Optimisation de l'exploration, avec ses propres options de suppression de flux et de nettoyage de paramètres d'URL.

Une fois que vous avez activé ces options, vérifiez votre fichier robots.txt pour confirmer que les nouvelles règles sont bien actives.

Comment gérer les paramètres de suivi

Les campagnes par e-mail, les publicités et les outils marketing ajoutent souvent des paramètres de suivi à vos URL (comme utm_source, fbclid ou gclid) pour voir d'où viennent les visiteurs.

Le suivi des arguments de requête d'AIOSEO vous montre lesquels de ces arguments de requête (les valeurs supplémentaires après un point d'interrogation dans une URL) Googlebot explore réellement. Vous le trouverez en bas du même écran « Avancé » dans AIOSEO.

La plupart du temps, vous n'avez pas besoin de bloquer ou de rediriger les liens de suivi.

Bien que AIOSEO propose un réglage ‘Optimiser les paramètres UTM’ qui réécrit ces liens via des redirections, nous vous recommandons fortement de le laisser désactivé afin de ne pas casser accidentellement les données de suivi.

Cependant, si vous repérez des arguments de requête dans votre moniteur qui n’ont absolument aucun but, vous pouvez les ajouter en toute sécurité à la liste de blocage dans cette section. Les utilisateurs avancés peuvent également utiliser les expressions régulières (Regex) pour bloquer plusieurs URL similaires à la fois.

Nettoyez les URL de filtre et de panier WooCommerce

Les boutiques WooCommerce ajoutent leurs propres paramètres qui gaspillent les ressources d’exploration en plus de tout ce qui précède, principalement orderby=, filter_, min_price= et max_price=, et add-to-cart=.

Vous pouvez bloquer ceux qui n’ont aucune valeur de recherche en utilisant la même approche robots.txt, ou les ajouter comme arguments de requête dans le Moniteur d’arguments de requête de la section ci-dessus.

Bloquer add-to-cart= est sûr car cela déclenche une action plutôt que de servir un contenu unique.

Faites de même pour les filtres de tri et de fourchette de prix, à une exception près : un filtre qui génère du trafic de recherche par lui-même, comme une seule taille ou couleur populaire.

Désindexer le contenu mince – Archives de tags, dates et auteurs

La désindexation signifie la suppression d’une page des résultats de recherche de Google. Vous le faites en ajoutant une balise noindex, qui demande aux moteurs de recherche de ne pas afficher cette page lorsque les gens recherchent.

WordPress crée automatiquement des pages d’archives qui regroupent vos articles par étiquette, date et auteur. Ces archives répètent la plupart du temps du contenu qui existe déjà sur votre site, c’est pourquoi les experts SEO les appellent des pages « minces ».

Voici quatre types d’archives qu’il est généralement sûr de désindexer :

• Archives d’auteur, si votre site n’a qu’un seul rédacteur
• Archives d’étiquettes qui ne fonctionnent pas comme de véritables pages de destination
• Archives de dates, qui ont rarement une valeur de recherche par elles-mêmes
• Pages de pièces jointes, que les anciens sites WordPress créent pour chaque image téléchargée (WordPress 6.4 a arrêté d’en créer pour les nouvelles installations en novembre 2023)

Vous pouvez définir chaque type d’archive sur noindex à partir des paramètres d’archives de votre plugin SEO. La plupart des plugins SEO WordPress incluent ce paramètre dans leurs versions gratuites.

Dans AIOSEO, vous le trouverez sous All in One SEO » Apparence de la recherche » Archives.

Avant d’enregistrer, vérifiez que vous n’avez pas accidentellement désindexé une page importante, ou un type de publication entier.

Gardez votre sitemap XML propre

Votre sitemap XML indique à Google quelles URL vous considérez comme importantes et récentes. En gardant votre sitemap exempt de désordre, vous vous assurez que les moteurs de recherche se concentrent sur votre contenu le plus précieux plutôt que de perdre du temps sur les archives paginées.

Par défaut, WordPress crée un sitemap XML pour votre site. Pour plus de contrôle, nous vous recommandons de générer un sitemap personnalisé avec un plugin SEO.

Un sitemap personnalisé ajoute les dates de dernière modification et en supprime les pages que vous avez définies sur noindex. AIOSEO, Yoast SEO et Rank Math vous permettent tous de créer un sitemap dans leurs versions gratuites.

Corrigez les erreurs d'exploration et les chaînes de redirection

Les URL mortes et redirigées vous coûtent toujours des requêtes d’exploration car Google ne sait qu’une URL est morte qu’en la récupérant. Sur un site WordPress typique, ces requêtes d’exploration gaspillées proviennent généralement de trois coupables principaux :

• Chaînes de redirection. Cela se produit lorsque l'URL A redirige vers B, qui redirige ensuite vers C. Pour résoudre ce problème, fusionnez la chaîne en acheminant l'URL d'origine directement vers la destination finale avec une seule redirection 301 (permanente).
• Erreurs Soft 404. Cela se produit lorsqu'une page est supprimée, mais que votre serveur renvoie toujours un code de succès normal « 200 OK ». Google continuera d'explorer l'URL car le serveur n'a pas explicitement indiqué que le contenu avait disparu. Vous pouvez résoudre ce problème en vous assurant que les pages supprimées renvoient un code d'état 404 (Non trouvé) ou 410 (Disparu) approprié.
• Liens internes obsolètes. Chaque fois que Google suit un lien interne qui mène à une page brisée ou à une redirection, cela consomme votre budget d'exploration. Vous devriez régulièrement auditer vos liens internes et soit les supprimer, soit les mettre à jour pour qu'ils pointent directement vers l'URL finale et active.

Vous pouvez également consulter notre guide sur la création d'une redirection dans WordPress, qui vous guide tout au long du processus.

Accélérez votre serveur pour augmenter votre taux d'exploration

Un serveur rapide encourage Google à explorer plus de pages, tandis qu'un serveur en difficulté le force à reculer. Pour améliorer vos temps de réponse, vous avez besoin de deux choses : un hébergement WordPress robuste et une configuration de mise en cache active.

Cependant, les erreurs de serveur peuvent nuire à votre budget d'exploration encore plus que la vitesse de vos pages. Si Googlebot rencontre fréquemment des délais d'attente, il réduit considérablement l'exploration et met du temps à récupérer.

Vous pouvez surveiller les temps de réponse et les erreurs de serveur dans le rapport Statistiques d'exploration de Google Search Console. Les erreurs sont généralement causées par un plan d'hébergement saturé ou un plugin défectueux.

Consultez notre guide pour corriger les erreurs de serveur internes 500 pour obtenir de l'aide avec les journaux d'erreurs et les limites d'hébergement.

Bloquez les robots d'exploration IA qui gaspillent vos ressources serveur

Les robots d'exploration IA comme GPTBot, ClaudeBot et PerplexityBot n'utilisent pas votre budget d'exploration Google. Cependant, ils accèdent au même serveur, et un scraping agressif peut ralentir votre site au point de faire baisser votre taux d'exploration Google.

La solution la plus rapide pour résoudre ce problème est le nettoyage d'exploration qui est inclus dans la plupart des plugins SEO. Le Crawl Cleanup d'AIOSEO comprend des paramètres de blocage des robots qui arrêtent les robots IA indésirables au niveau de WordPress.

Pour une protection plus forte, le contrôle d'exploration IA gratuit de Cloudflare vous permet de bloquer les robots d'exploration individuels depuis son onglet Crawlers. Il bloque les robots d'exploration avant même qu'ils n'atteignent votre serveur d'hébergement.

Cependant, soyez prudent lors de la configuration de votre liste de blocage. Bon nombre de ces « robots » peuvent être des assistants de recherche IA qui génèrent du trafic vers votre site, de sorte que les bloquer sans discernement nuira à votre visibilité globale.

Questions fréquemment posées sur le budget d'exploration WordPress

Voici les questions que nous recevons le plus souvent concernant le budget d'exploration.

Pouvez-vous définir ou augmenter votre budget d'exploration ?

Il n'y a pas de nombre fixe que vous puissiez définir. Vous pouvez augmenter votre capacité d'exploration avec un serveur plus rapide et plus fiable, et vous pouvez augmenter la demande d'exploration avec du contenu frais et non dupliqué que Google souhaite réellement revisiter.

Comment empêcher Google d'explorer les URL /feed/ qui apparaissent comme des doublons dans la Search Console ?

Désactivez les flux redondants avec le Crawl Cleanup d'AIOSEO, ou ajoutez une règle Disallow pour vos URL de flux à votre robots.txt. Ce contenu est déjà indexé ailleurs sur votre site, donc le blocage des flux ne vous coûte rien en termes de trafic organique.

La balise noindex permet-elle d'économiser du budget d'exploration ?

Pas directement, car Google doit toujours explorer la page pour voir la balise. Au lieu de cela, empêchez Google d'explorer via un fichier robots.txt.

Une page 404 personnalisée avec des liens utiles améliorera-t-elle mon budget d'exploration ?

Non, cela améliore l'expérience utilisateur. Pour vous assurer que le budget d'exploration n'est pas gaspillé, assurez-vous que votre serveur envoie le code d'état 404 ou 410 correct pour une page qui n'existe plus.

Nous espérons que cet article vous a aidé à trouver et à corriger ce qui gaspille votre budget d'exploration. Attendez quelques semaines après les changements, puis vérifiez à nouveau les statistiques d'exploration pour voir l'amélioration.

Vous voudrez peut-être aussi lire notre guide ultime du référencement WordPress ou comment empêcher les moteurs de recherche d'explorer un site WordPress.

Si vous avez aimé cet article, abonnez-vous à notre Chaîne YouTube pour des tutoriels vidéo WordPress. Vous pouvez également nous trouver sur Twitter et Facebook.