So beheben Sie das Crawl-Budget-Problem in WordPress

Das Crawl-Budget ist das Limit, das Google für die Anzahl der Seiten festlegt, die es auf Ihrer Website crawlt.

Neben Ihren Beiträgen und Seiten generiert WordPress mehrere zusätzliche URLs, die Suchmaschinen crawlen und indexieren können. Das bedeutet, dass Google sein Crawl-Budget möglicherweise für unnötige Seiten anstelle Ihrer wichtigen Inhalte verwendet.

In diesem Artikel zeigen wir Ihnen, wie Sie Ihr Crawl-Budget in WordPress optimieren, damit Google Ihre wichtigen Inhalte zuerst findet.

Schnelle Antwort: Das Crawl-Budget in WordPress beheben

Das Blockieren unnötiger URLs mit den Crawl-Cleanup-Einstellungen Ihres SEO-Plugins oder robots.txt stellt sicher, dass Ihr Crawl-Budget nicht verschwendet wird.

Die meisten kleinen Websites werden ihr Crawl-Budget möglicherweise nie aufbrauchen. WordPress erstellt jedoch weitaus mehr URLs, als Sie veröffentlichen. Google könnte am Ende Crawl-Budget für diese URLs verschwenden, und Ihre wichtigen Seiten werden möglicherweise nicht schnell oder häufig gecrawlt.

Verwenden Sie die Schnelllinks unten, um direkt zur benötigten Lösung zu springen:

Was ist das Crawl-Budget und wie prüft man es?

Das Crawl-Budget ist die Anzahl der Seiten, die eine Suchmaschine wie Google innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Es gibt zwei Hauptfaktoren:

• Crawl-Kapazität: Wie viele Anfragen Google stellen kann, ohne Ihren Server zum Absturz zu bringen oder zu verlangsamen. Wenn Ihr Server schnell und zuverlässig ist, ist Ihre Kapazität hoch.
• Crawl-Nachfrage: Wie sehr Google Ihre Website crawlen möchte, basierend auf ihrer Beliebtheit, Gesamtqualität und wie oft Sie neue Inhalte veröffentlichen.

Wenn minderwertige Seiten oder langsame Server Ihr Crawl-Budget aufbrauchen, crawlt Google weniger und es dauert länger, Ihre neuen Inhalte zu indexieren.

Es lohnt sich, einen Moment Zeit zu nehmen, um Ihren Crawl-Statistik-Bericht in der Google Search Console zu untersuchen. Er zeigt Ihnen, wann und wie oft Googlebot Ihre Website besucht. Öffnen Sie einfach die Google Search Console und gehen Sie zu Einstellungen » Crawl-Statistiken » Bericht öffnen, um ihn aufzurufen.

Sobald Sie sich im Bericht befinden, unterteilt Google die Crawl-Anfragen in vier Kategorien. Hier ist, was jede einzelne zeigt:

• Nach Antwort. Wie Ihr Server auf jede Anfrage geantwortet hat, einschließlich „OK (200)“, „Nicht gefunden (404)“, Weiterleitungen und Serverfehlern (5XX).
• Nach Dateityp. Was Googlebot heruntergeladen hat, einschließlich HTML-Seiten, Bildern, CSS und JavaScript.
• Nach Zweck. „Entdeckung“ bedeutet, dass Google eine URL zum ersten Mal crawlt, während „Aktualisierung“ bedeutet, dass es bereits bekannte Seiten erneut crawlt.
• Nach Googlebot-Typ. Zeigt an, welcher Crawler die Anfrage gestellt hat. Ein hoher Anteil an „Smartphone“ ist normal, da Google hauptsächlich die mobile Version Ihrer Website crawlt.

Klicken Sie auf eine beliebige Zeile in diesen Berichten, um die spezifischen URLs und ihre individuellen Crawl-Statistiken anzuzeigen. Diese Daten zeigen Ihnen auch genau, welche Korrekturen Ihre Website benötigt:

• Ein großer Anteil von „Nicht gefunden (404)“ oder „Serverfehler (5XX)“-Antworten bedeutet, dass tote URLs Anfragen verbrauchen. Sie können dies lösen, indem Sie Ihre Weiterleitungsketten bereinigen und defekte Links reparieren.
• Eine hohe Zahl bei „Syndication“ bedeutet, dass Google Anfragen für Feeds statt für Ihre Inhalte verwendet. Sie können diese Verschwendung leicht stoppen, indem Sie diese unnötigen URLs blockieren.
• Wenn Ihre „Entdeckungs“-Crawl-Statistik hoch bleibt, auch wenn Sie keine neuen Inhalte veröffentlichen, verschwendet Google wahrscheinlich Zeit mit automatisch generierten URLs wie Sortier- und Filterseiten. Sie können dies verhindern, indem Sie die gleichen robots.txt-Blockierungsregeln anwenden.
• Langsame durchschnittliche Antwortzeiten oder wiederholte Serverfehler begrenzen Ihr gesamtes Budget. Dies ist ein klares Zeichen dafür, dass es an der Zeit ist, Ihren Server zu beschleunigen.

Überprüfen Sie abschließend die Metrik „Entdeckt – derzeit nicht indexiert“ in Ihrem Seitenindexierungsbericht. Google verwendet diese, wenn es einen Crawl verzögert, um einen Absturz Ihres Servers zu vermeiden. Eine hohe Anzahl hier ist ein direkter Indikator dafür, dass das Crawling Ihrer Website begrenzt ist.

Blockieren Sie Crawl-verschwendende URLs mit robots.txt oder Ihrem SEO-Plugin

Der meiste verschwendete Crawl-Budget stammt von URLs, die WordPress und Ihre Plugins automatisch generieren, nicht von den Artikeln, die Sie schreiben.

Diese unnötigen URLs umfassen Feeds, Kommentar-Antwort-Links, interne Suchergebnisse, Tracking-Parameter von Ihren Kampagnen und Anzeigen sowie WooCommerce-Filterparameter.

Bevor Sie URLs sperren, sollten Sie zwei Dinge beachten:

• Sperren Sie niemals CSS oder JS. Google muss diese Dateien laden, um Ihre Seiten korrekt anzuzeigen.
• Blockieren Sie keine URL, die Sie mit noindex versehen möchten. Ein noindex-Tag weist Google an, eine Seite aus den Suchergebnissen herauszuhalten. Google muss jedoch die WordPress-Seite crawlen, um diesen Tag zu sehen. Das Blockieren der URL in robots.txt bedeutet daher, dass Google sie nie liest.

Schreiben Sie Ihre robots.txt-Regeln von Hand

Die robots.txt-Datei ist eine einfache Textdatei, die sich im Stammverzeichnis Ihrer Website befindet. Sie teilt Suchmaschinen-Bots mit, welche URLs sie nicht besuchen sollen.

Sie können Ihre robots.txt-Datei manuell über Ihr Hosting-Konto bearbeiten. Die Verwendung des integrierten Editors in Ihrem SEO-Plugin ist jedoch viel einfacher.

In All in One SEO finden Sie ihn beispielsweise unter All in One SEO » Tools » Robots.txt Editor.

Andere beliebte Plugins wie Yoast SEO und Rank Math bieten ähnliche robots.txt-Editoren.

Identifizieren Sie zunächst die URL-Muster, die Sie nicht crawlen lassen möchten, wie z. B. /?s= für die interne Suche, ?replytocom=, das an Beitrags-URLs angehängt wird, für Kommentar-Antwort-Links und /feed/ für RSS-Feeds.

Bevor Sie Ihre RSS-Feeds blockieren, stellen Sie sicher, dass Sie sie nicht für einen Podcast, einen automatisierten E-Mail-Newsletter oder Feed-Reader benötigen. Sobald Sie wissen, dass sie nicht verwendet werden, fügen Sie für jeden eine Disallow-Regel hinzu.

User-agent: *
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /*/feed/

Nachdem Sie Ihre Regeln gespeichert haben, überprüfen Sie diese mit dem robots.txt-Bericht der Google Search Console, bevor Sie fortfahren.

Bestätigen Sie, dass Ihre neuen Disallow-Regeln dort ohne Syntaxfehler angezeigt werden.

Richten Sie Crawl Cleanup in Ihrem SEO-Plugin ein

Wenn Sie die robots.txt-Regeln lieber nicht von Hand schreiben möchten, können die Crawl-Bereinigungseinstellungen Ihres SEO-Plugins die gleiche Aufgabe mit einfachen Schaltern erledigen.

Wenn Sie AIOSEO verwenden, finden Sie es unter All in One SEO » Search Appearance » Advanced. Aktivieren Sie dann „Crawl Cleanup“. Das Crawl Cleanup-Tool ermöglicht es Ihnen, unnötige RSS-Feeds (wie die, die WordPress automatisch für Kommentare, Autoren und Anhänge generiert) zu deaktivieren, unerwünschte Bots zu blockieren und das Crawling interner Such-URLs zu stoppen.

Stellen Sie sicher, dass Sie Ihren Haupt-Site-Feed aktiviert lassen. Deshalb markiert AIOSEO ihn als „Deaktivierung nicht empfohlen“.

Yoast SEO hat die gleiche Funktionalität unter Yoast SEO » Settings » Advanced » Crawl optimization mit eigenen Optionen zur Feed-Entfernung und URL-Parameter-Bereinigung.

Sobald Sie diese Optionen aktiviert haben, überprüfen Sie Ihre robots.txt-Datei, um sicherzustellen, dass die neuen Regeln tatsächlich aktiv sind.

Wie man Tracking-Parameter behandelt

E-Mail-Kampagnen, Anzeigen und Marketing-Tools fügen Ihren URLs oft Tracking-Parameter hinzu (wie utm_source, fbclid oder gclid), um zu sehen, woher Besucher kommen.

AIOSEOs Abfrageargument-Überwachung zeigt Ihnen, welche dieser Abfrageargumente (die zusätzlichen Werte nach einem Fragezeichen in einer URL) Googlebot tatsächlich crawlt. Sie finden es am Ende des gleichen „Erweitert“-Bildschirms in AIOSEO.

Meistens müssen Sie Tracking-Links nicht blockieren oder weiterleiten.

Während AIOSEO eine „UTM-Parameter optimieren“-Umschaltung bietet, die diese Links per Weiterleitung umschreibt, empfehlen wir dringend, diese deaktiviert zu lassen, damit Sie nicht versehentlich Tracking-Daten beschädigen.

Wenn Sie jedoch Abfrageargumente in Ihrem Monitor entdecken, die absolut keinen Zweck erfüllen, können Sie sie in diesem Abschnitt sicher zur Blockierliste hinzufügen. Fortgeschrittene Benutzer können auch Regex (reguläre Ausdrücke) verwenden, um mehrere ähnliche URLs auf einmal zu blockieren.

Bereinigen Sie WooCommerce Filter- und Warenkorb-URLs

WooCommerce-Shops fügen ihre eigenen Crawl-verschwendenden Parameter zu allem oben hinzu, hauptsächlich orderby=, filter_, min_price= und max_price=, und add-to-cart=.

Sie können diejenigen ohne Suchwert mit dem gleichen robots.txt-Ansatz blockieren oder sie als Abfrageargumente in der Abfrageargument-Überwachung im obigen Abschnitt hinzufügen.

Das Blockieren von add-to-cart= ist sicher, da es eine Aktion auslöst und keine eindeutigen Inhalte liefert.

Machen Sie dasselbe für die Sortier- und Preisbereichsfilter, mit einer Ausnahme – einem Filter, der eigenständig Traffic von Suchmaschinen generiert, wie z. B. eine einzelne beliebte Größe oder Farbe.

Dünne Inhalte deindexieren – Tag-, Datums- und Autorenarchive

Deindexierung bedeutet, eine Seite aus den Google-Suchergebnissen zu entfernen. Sie tun dies, indem Sie ein noindex-Tag hinzufügen, das Suchmaschinen bittet, diese Seite nicht anzuzeigen, wenn Leute suchen.

WordPress erstellt automatisch Archivseiten, die Ihre Beiträge nach Schlagwort, Datum und Autor gruppieren. Diese Archive wiederholen meist Inhalte, die bereits auf Ihrer Website vorhanden sind, weshalb SEO-Experten sie als „dünne“ Seiten bezeichnen.

Hier sind vier Archivtypen, die normalerweise sicher noindexed werden können:

• Autorenarchive, wenn Ihre Website nur einen einzigen Autor hat
• Tag-Archive, die nicht als echte Landingpages funktionieren
• Datumsarchive, die selten eigenständig einen Suchwert haben
• Anhangsseiten, die ältere WordPress-Websites für jedes hochgeladene Bild erstellen (WordPress 6.4 hat ab November 2023 keine mehr für Neuinstallationen erstellt)

Sie können jeden der Archivtypen über die Archiv-Einstellungen Ihres SEO-Plugins auf noindex setzen. Die meisten WordPress-SEO-Plugins enthalten diese Einstellung in ihren kostenlosen Versionen.

In AIOSEO finden Sie es unter All in One SEO » Such appearance » Archives.

Überprüfen Sie doppelt, ob Sie nicht versehentlich eine wichtige Seite oder einen ganzen Beitragstyp auf noindex gesetzt haben, bevor Sie speichern.

Halten Sie Ihre XML-Sitemap sauber

Ihre XML-Sitemap teilt Google mit, welche URLs Sie als wichtig und aktuell erachten. Indem Sie Ihre Sitemap übersichtlich halten, stellen Sie sicher, dass Suchmaschinen sich auf Ihre wertvollsten Inhalte konzentrieren, anstatt Zeit mit paginierten Archiven zu verschwenden.

Standardmäßig erstellt WordPress eine XML-Sitemap für Ihre Website. Für mehr Kontrolle empfehlen wir, eine benutzerdefinierte Sitemap zu generieren mit einem SEO-Plugin.

Eine benutzerdefinierte Sitemap fügt Last-Modified-Daten hinzu und entfernt die Seiten, die Sie auf noindex gesetzt haben, daraus. AIOSEO, Yoast SEO und Rank Math ermöglichen es Ihnen alle, in ihren kostenlosen Versionen eine Sitemap zu erstellen.

Crawling-Fehler und Weiterleitungs-Ketten beheben

Tote und umgeleitete URLs verbrauchen immer noch Crawl-Anfragen, da Google erst durch das Abrufen einer URL erfährt, dass sie tot ist. Auf einer typischen WordPress-Seite stammen diese verschwendeten Crawl-Anfragen normalerweise von drei Hauptschuldigen:

• Redirect-Ketten. Dies geschieht, wenn URL A zu B weiterleitet, die dann zu C weiterleitet. Um dies zu beheben, kürzen Sie die Kette, indem Sie die ursprüngliche URL mit einer einzigen 301 (permanenten) Weiterleitung direkt zum endgültigen Ziel leiten.
• Soft-404-Fehler. Dies tritt auf, wenn eine Seite entfernt wird, Ihr Server aber immer noch einen normalen „200 OK“-Erfolgscode zurückgibt. Google wird die URL weiterhin crawlen, da der Server nicht explizit gesagt hat, dass der Inhalt weg ist. Sie können dies beheben, indem Sie sicherstellen, dass gelöschte Seiten einen korrekten 404 (Not Found) oder 410 (Gone) Statuscode zurückgeben.
• Veraltete interne Links. Jedes Mal, wenn Google einem internen Link folgt, der zu einer defekten Seite oder einer Weiterleitung führt, verbraucht es Ihr Crawl-Budget. Sie sollten Ihre internen Links regelmäßig überprüfen und sie entweder entfernen oder aktualisieren, damit sie direkt auf die Live-End-URL zeigen.

Sie können auch unseren Leitfaden lesen, wie Sie eine Weiterleitung in WordPress erstellen, der Sie durch den gesamten Prozess führt.

Beschleunigen Sie Ihren Server, um Ihre Crawl-Rate zu erhöhen

Ein schneller Server ermutigt Google, mehr Seiten zu crawlen, während ein kämpfender Server ihn zwingt, sich zurückzuziehen. Um Ihre Antwortzeiten zu verbessern, benötigen Sie zwei Dinge: robustes WordPress-Hosting und eine aktive Caching-Einrichtung.

Serverfehler können Ihr Crawl-Budget jedoch noch stärker beeinträchtigen als Ihre Seitengeschwindigkeit. Wenn Googlebot häufig Timeouts hat, reduziert er das Crawling drastisch und erholt sich nur langsam.

Sie können Antwortzeiten und Serverfehler im Bericht „Crawl-Statistiken“ der Google Search Console überwachen. Fehler werden normalerweise durch einen überlasteten Hosting-Plan oder ein fehlerhaftes Plugin verursacht.

Sehen Sie sich unseren Leitfaden zur Behebung von 500 internen Serverfehlern an, um Hilfe bei Fehlerprotokollen und Hosting-Limits zu erhalten.

Blockieren Sie KI-Crawler, die Ihre Serverressourcen verschwenden

KI-Crawler wie GPTBot, ClaudeBot und PerplexityBot verwenden nicht Ihr Google-Crawl-Budget. Sie greifen jedoch auf denselben Server zu, und aggressives Scraping kann Ihre Website so verlangsamen, dass Ihre Google-Crawl-Rate darunter leidet.

Die schnellste Lösung zur Behebung dieses Problems ist die Crawl-Bereinigung, die mit den meisten SEO-Plugins geliefert wird. Die Crawl-Bereinigung von AIOSEO enthält Bot-Blockierungs-Einstellungen, die unerwünschte KI-Bots auf WordPress-Ebene stoppen.

Für stärkeren Schutz können Sie mit Cloudflares kostenlosem AI Crawl Control einzelne Crawler über dessen Crawler-Tab blockieren. Es blockiert Crawler, bevor sie überhaupt Ihren Hosting-Server erreichen.

Seien Sie jedoch vorsichtig bei der Konfiguration Ihrer Blockierliste. Viele dieser „Bots“ sind möglicherweise KI-Suchassistenten, die Traffic auf Ihre Website lenken. Wenn Sie sie also wahllos blockieren, beeinträchtigt dies Ihre Gesamtsichtbarkeit.

Häufig gestellte Fragen zum WordPress Crawl-Budget

Hier sind die Fragen, die wir am häufigsten zum Crawl-Budget erhalten.

Können Sie Ihr Crawl-Budget festlegen oder erhöhen?

Es gibt keine feste Zahl, die Sie festlegen können. Sie können Ihre Crawl-Kapazität mit einem schnelleren, zuverlässigeren Server erhöhen und die Crawl-Nachfrage mit frischen, nicht doppelten Inhalten steigern, die Google tatsächlich wieder besuchen möchte.

Wie verhindere ich, dass Google die /feed/-URLs crawlt, die in der Search Console als Duplikate angezeigt werden?

Deaktivieren Sie die redundanten Feeds mit der Crawl-Bereinigung von AIOSEO oder fügen Sie Ihrer robots.txt eine Disallow-Regel für Ihre Feed-URLs hinzu. Diese Inhalte sind bereits an anderer Stelle auf Ihrer Website indexiert, daher kostet Sie das Blockieren der Feeds nichts in Bezug auf den organischen Traffic.

Spart das Noindex-Tag Crawl-Budget?

Nicht direkt, da Google die Seite immer noch crawlen muss, um das Tag zu sehen. Stoppen Sie stattdessen Google über eine robots.txt-Datei vom Crawlen.

Verbessert eine benutzerdefinierte 404-Seite mit hilfreichen Links mein Crawl-Budget?

Nein, es verbessert jedoch die Benutzererfahrung. Um sicherzustellen, dass kein Crawl-Budget verschwendet wird, stellen Sie sicher, dass Ihr Server den korrekten 404- oder 410-Statuscode für eine nicht mehr vorhandene Seite sendet.

Wir hoffen, dieser Artikel hat Ihnen geholfen, die Verschwendung Ihres Crawl-Budgets zu finden und zu beheben. Geben Sie den Änderungen ein paar Wochen Zeit und überprüfen Sie dann erneut die Crawl-Statistiken, um die Verbesserung zu sehen.

Möglicherweise möchten Sie auch unseren ultimativen WordPress-SEO-Leitfaden oder Anleitung zum Stoppen von Suchmaschinen beim Crawlen einer WordPress-Website lesen.

Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.