Vertrauenswürdige WordPress-Tutorials, wenn Sie sie am dringendsten benötigen.
Anfängerleitfaden für WordPress
WPB Tasse
30 Millionen+
Websites, die unsere Plugins verwenden
20+
Jahre WordPress-Erfahrung
3000+
WordPress-Tutorials von Experten

So optimieren Sie Ihre WordPress Robots.txt für SEO

Ihre WordPress-Website hat bereits eine robots.txt-Datei, und diese trifft Entscheidungen darüber, auf welche Inhalte Suchmaschinen-Crawler zugreifen können, unabhängig davon, ob Sie sie jemals bearbeitet haben oder nicht.

Die meisten dieser Entscheidungen sind harmlos. Aber eine einzige schlecht gewählte Regel kann Crawler auch von URLs fernhalten, die Sie eigentlich von ihnen entdeckt haben möchten.

In diesem Leitfaden zeigen wir Ihnen, was Ihre robots.txt-Datei gerade tut und wie Sie sie bearbeiten können, ohne Code anzufassen.

Optimierung einer WordPress robots.txt-Datei für SEO

Hier ist alles, was wir in diesem Leitfaden behandeln werden:

Was ist eine robots.txt-Datei?

Robots.txt ist eine einfache Textdatei, die Suchmaschinen-Bots mitteilt, welche Teile Ihrer Website sie crawlen dürfen.

Die Datei befindet sich im Stammverzeichnis (dem Hauptordner) Ihrer Website. Das grundlegende Format sieht so aus:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

Sie können so viele Regeln und Sitemaps hinzufügen, wie Sie benötigen. Wenn Sie eine URL nicht blockieren, gehen Bots davon aus, dass sie sie crawlen dürfen.

Ihre Website funktioniert ohne eine robots.txt-Datei, wenn Sie einen Blog starten. Wenn Ihr Inhalt jedoch wächst, wird diese Datei nützlicher.

Suchmaschinen geben jeder Website ein Crawl-Budget, d. h. die Anzahl der Seiten, die sie in einem bestimmten Zeitraum crawlen werden. Indem Sie unwichtige Seiten blockieren, helfen Sie Bots, dieses Budget für Inhalte auszugeben, die Sie in den Suchergebnissen sehen möchten.

Dies ist am wichtigsten für große Websites mit Tausenden von Seiten.

Beachten Sie, dass robots.txt die Steuerung des Crawlings, nicht des Indexierens, unterstützt.

  • Crawling bedeutet, dass Suchmaschinen-Bots (wie Googlebot) Ihre Website besuchen, um deren Inhalte zu entdecken.
  • Indexierung bedeutet, dass sie diese Inhalte ihrer riesigen Suchdatenbank hinzufügen, damit sie in den Suchergebnissen erscheinen können.

Stellen Sie es sich wie einen Bibliothekar vor, der ein neues Buch liest (Crawling) und es dann in den Katalog der Bibliothek aufnimmt (Indexierung).

Mit anderen Worten, robots.txt ist auch keine gute Methode, um Inhalte zu verbergen, da eine blockierte Seite immer noch in den Suchergebnissen erscheinen kann, wenn andere Websites darauf verlinken. Um eine Seite zuverlässig aus Google herauszuhalten, verwenden Sie stattdessen ein 'noindex'-Meta-Tag. Dies weist Suchmaschinen an, die Seite überhaupt nicht aufzulisten.

Beispiele und Best Practices für Robots.txt

Für die meisten WordPress-Sites können Sie Ihre robots.txt-Datei recht einfach halten. Hier ist die von uns empfohlene Grundeinrichtung:

User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

Hier ist, was jede Regel bewirkt:

  • Allow: /wp-content/uploads/ erlaubt Suchmaschinen, Ihre Bilder und andere Dateien zu crawlen, die in Ihre WordPress-Mediathek hochgeladen wurden.
  • Allow: /wp-admin/admin-ajax.php hält den AJAX-Handler von WordPress zugänglich. Themes und Plugins können diese Datei verwenden, um Inhalte zu laden oder zu aktualisieren, ohne die Seite neu zu laden.
  • Disallow: /wp-admin/ verhindert, dass Crawler auf Ihren WordPress-Adminbereich zugreifen, der keine Inhalte enthält, die in den Suchergebnissen erscheinen sollen.
  • Disallow: /readme.html verhindert, dass Crawler auf die Standard-readme.html-Datei von WordPress zugreifen. Diese Datei ist für Suchmaschinen nicht nützlich, daher gibt es wenig Grund für sie, sie zu crawlen.
  • Disallow: /refer/ verhindert, dass Crawler Affiliate- oder andere Weiterleitungs-URLs folgen, die das Präfix /refer/ verwenden. Wenn Ihre Website ein anderes Präfix für diese Links verwendet, ersetzen Sie /refer/ durch Ihr eigenes.
  • Disallow: /?s= verhindert, dass Crawler die internen Such-URLs von WordPress anfordern. Diese Seiten sind im Allgemeinen keine nützlichen Landingpages für Suchmaschinen und können viele unnötige URLs zum Crawlen erzeugen.
  • Sitemap teilt Suchmaschinen mit, wo sie Ihre XML-Sitemaps finden können. Dies erleichtert es ihnen, die von Ihnen gewünschten URLs zu entdecken, die sie crawlen sollen.

Dies sind die gleichen Kernregeln, die wir auf WPBeginner verwenden. Sie können unsere Live-Datei unter wpbeginner.com/robots.txt einsehen. Unsere Produktionsdatei enthält zusätzliche Regeln für eine viel größere Website, aber die Grundprinzipien sind die gleichen.

Beachten Sie, dass die Verwendung des Platzhalters * für alle Crawler gilt.

Diese Regel blockiert beispielsweise Googlebot am Crawlen des Ordners /private/:

User-agent: Googlebot
Disallow: /private/

Gängige User-Agent-Namen sind Googlebot (Google), Bingbot (Bing) und Baiduspider (Baidu).

So erstellen Sie eine Robots.txt-Datei in WordPress

Es gibt zwei Möglichkeiten, eine robots.txt-Datei in WordPress zu erstellen. Sie können die Methode wählen, die für Sie am besten geeignet ist.

Methode 1: robots.txt-Datei mit All in One SEO bearbeiten

Die meisten kostenlosen WordPress-SEO-Plugins, wie All in One SEO (AIOSEO), Yoast oder Rank Math, ermöglichen es Ihnen, Ihre robots.txt-Datei direkt über Ihr WordPress-Dashboard anzupassen.

Wir verwenden AIOSEO auf WPBeginner. Die kostenlose Version von AIOSEO hilft Ihnen, Ihre robots.txt-Regel während der Eingabe zu validieren, sodass Sie Syntaxfehler erkennen können, bevor sie live gehen. 

Sobald das Plugin aktiv ist, gehen Sie einfach zu All in One SEO » Tools in Ihrem WordPress-Dashboard. Sie gelangen zum Robots.txt-Editor. Schalten Sie den Schalter „Benutzerdefinierte Robots.txt aktivieren“ ein, um mit der Bearbeitung zu beginnen.

Benutzerdefinierte robots.txt-Umschaltung aktivieren

Der Editor zeigt die Standardregeln an, die WordPress selbst generiert.

Jetzt können Sie Ihre eigenen Regeln hinzufügen. Geben Sie im Feld „User Agent“ einen User Agent ein oder verwenden Sie *, um die Regel auf alle Bots anzuwenden.

Wählen Sie dann in der Spalte „Directive“ „Allow“ oder „Disallow“ und geben Sie den Datei- oder Ordnerpfad im Feld „Value“ ein. Um eine weitere Regel hinzuzufügen, klicken Sie auf die Schaltfläche „Add Rule“.

Hinzufügen einer benutzerdefinierten Regel im All in One SEO robots.txt-Editor

Sie können Ihre endgültige Datei in der „Custom Robots.txt Preview“ am unteren Bildschirmrand überprüfen. Sie zeigt die vollständige Datei genau so an, wie Bots sie sehen werden.

Vorschau der All in One SEO robots.txt

Wenn Sie fertig sind, klicken Sie auf die Schaltfläche „Save Changes“, um Ihre Regeln zu speichern.

Methode 2: Robots.txt-Datei manuell per FTP bearbeiten

Wenn Sie Ihre robots.txt-Datei lieber direkt bearbeiten möchten, folgen Sie dieser Methode. Um die Datei zu bearbeiten, müssen Sie einen FTP-Client verwenden oder den Dateimanager in Ihrem WordPress-Hosting-Panel.

Bevor Sie etwas bearbeiten, laden Sie eine Sicherungskopie Ihrer aktuellen robots.txt-Datei auf Ihren Computer herunter. So können Sie sie wiederherstellen, wenn etwas schiefgeht.

Verbinden Sie zuerst Ihren FTP-Client mit Ihrer WordPress-Website und suchen Sie die robots.txt-Datei im Stammordner Ihrer Website.

robots-Datei per FTP bearbeiten

Wenn Sie keine sehen, hat Ihre Website noch keine robots.txt-Datei. Sie können dort eine erstellen.

Robots.txt ist eine einfache Textdatei. Sie können sie herunterladen, in einem beliebigen Texteditor wie Notepad oder TextEdit bearbeiten und wieder in Ihren Stammordner hochladen.

So testen Sie Ihre Robots.txt-Datei

Überprüfen Sie Ihre robots.txt-Datei nach dem Erstellen oder Bearbeiten immer auf Fehler. Ein kleiner Tippfehler kann wichtige Seiten für Suchmaschinen blockieren, und Sie bemerken dies möglicherweise erst nach Wochen.

Der einfachste Weg, Ihre robots.txt-Datei auf Fehler zu testen, ist mit Google Search Console.

Stellen Sie zunächst sicher, dass Ihre Website mit der Google Search Console verbunden ist. Wenn nicht, folgen Sie unserer Anleitung, wie Sie Ihre WordPress-Website zur Google Search Console hinzufügen.

Gehen Sie dann zu Ihrem Search Console-Dashboard und öffnen Sie Einstellungen aus dem Menü unten links. Suchen Sie den Abschnitt „Crawling“ und klicken Sie auf „Bericht öffnen“ neben „robots.txt“.

Öffnen des robots.txt-Berichts in den Google Search Console-Einstellungen

Klicken Sie in der Liste auf die aktuelle Version der Datei. Der Bericht zeigt die neueste robots.txt, die Google gefunden hat, und hebt alle erkannten Syntaxfehler oder logischen Probleme hervor.

Google Search Console robots.txt-Bericht zeigt eine gültige Datei an

Wenn Sie Ihre Datei gerade aktualisiert haben und die Änderungen nicht angezeigt werden, geben Sie ihr einen Tag und überprüfen Sie sie dann erneut. 

Häufig gestellte Fragen zu WordPress robots.txt

Hier sind die häufigsten Fragen, die Leser uns zur Optimierung der robots.txt-Datei in WordPress stellen.

1. Kann die Verwendung von robots.txt die Sicherheit meiner Website verbessern?

Nein, robots.txt ist keine Sicherheitsmaßnahme. Die Datei ist öffentlich sichtbar, sodass sie niemanden daran hindert, auf die von Ihnen aufgeführten URLs zuzugreifen. Sie gibt lediglich Anweisungen für gut funktionierende Suchmaschinen-Crawler.

2. Sollte ich WordPress-Kategorie- und Tag-Seiten in robots.txt blockieren?

Nein, Sie sollten keine Kategorie- und Tag-Seiten blockieren. Diese Archivseiten enthalten interne Links, denen Crawler folgen, um Ihre älteren Beiträge zu erreichen. Das Blockieren entfernt daher einen Entdeckungspfad für die Inhalte, die Sie indizieren möchten.

3. Was ist der Unterschied zwischen robots.txt und dem noindex-Tag?

Sie steuern unterschiedliche Dinge. robots.txt steuert, ob ein Crawler eine URL überhaupt besuchen kann. Das noindex-Tag steuert, ob Suchmaschinen eine Seite in den Suchergebnissen auflisten, auch wenn sie diese bereits besucht haben.

Verwenden Sie robots.txt, um Crawler von Bereichen wie Ihrem Admin-Panel, Ihrer Staging-Umgebung oder Plugin-Verzeichnissen zu blockieren. Verwenden Sie noindex für Seiten, bei denen es Ihnen nichts ausmacht, dass Google sie crawlt, wie z. B. gefilterte Archivseiten oder Dankesseiten, die Sie einfach nicht in den Suchergebnissen anzeigen lassen möchten.

Wir hoffen, dieser Artikel hat Ihnen geholfen zu lernen, wie Sie Ihre WordPress robots.txt-Datei für SEO optimieren. Möglicherweise möchten Sie auch unseren ultimativen WordPress SEO-Leitfaden und unsere Expertenauswahl für die besten WordPress SEO-Tools sehen, um Ihre Website zu erweitern.

Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.

Offenlegung: Unsere Inhalte werden von den Lesern unterstützt. Das bedeutet, wenn Sie auf einige unserer Links klicken, können wir eine Provision verdienen. Sehen Sie, wie WPBeginner finanziert wird, warum das wichtig ist und wie Sie uns unterstützen können. Hier ist unser Redaktionsprozess.

Das ultimative WordPress-Toolkit

Erhalten Sie KOSTENLOSEN Zugang zu unserem Toolkit – eine Sammlung von WordPress-bezogenen Produkten und Ressourcen, die jeder Profi haben sollte!

Leserinteraktionen

133 KommentareAntworten

  1. Ich muss zugeben, ich benutze das AIOSEO-Plugin, habe aber immer die Option „Benutzerdefinierte Robots.txt aktivieren“ ignoriert, weil ich nichts durcheinanderbringen wollte.
    Aber ich habe diesen Artikel gelesen und bin überzeugt, dass es sich lohnt, sich die Zeit zu nehmen, die Robots.txt-Datei meiner Website zu optimieren.

      • Ich denke, Sie sollten Ihre Antwort ändern. Es sollte https statt http sein. Ist es richtig, auch Plugin-Dateien zu verbieten?

        • Vielen Dank für den Hinweis, unser Beispiel wurde aktualisiert. Um Plugins zu sperren, sollten Sie zur Sicherheit das spezifische Plugin überprüfen.

  2. Vielen Dank für diesen informativen Beitrag über die robots.txt-Datei.
    Ich wusste nicht, dass Websites diese Datei pflegen sollten, um die Kontrolle über Google-Bots zu haben, wie sie unsere Seiten und Beiträge durchsuchen sollen.
    Für Anfänger-Websites, die gerade erst anfangen, ist es notwendig, eine robots.txt-Datei zu haben, oder gibt es eine Möglichkeit wie ein Plugin, das eine robots.txt-Datei für unsere Website erstellen kann?

    • Die meisten SEO-Plugins helfen bei der Einrichtung der robots.txt für eine neue Website, um zu verhindern, dass Bots Bereiche durchsuchen, die sie nicht durchsuchen sollten.

      Administrator

  3. Dank diesem Artikel habe ich die robots.txt-Datei überprüft und URL-Adressen mit Sitemaps hinzugefügt. Gleichzeitig hatte ich dort andere problematische Zeilen, die vom Validator aufgedeckt wurden. Sitemaps in robots.txt waren mir bisher nicht bekannt. Danke.

  4. Hallo,

    Danke für diesen Beitrag, es wird klarer, wie die robots.txt-Datei verwendet wird. Auf den meisten Websites, die Sie finden, wenn Sie nach Ratschlägen zur robots.txt-Datei suchen, können Sie sehen, dass die folgenden Ordner explizit vom Crawling ausgeschlossen sind (für WordPress):
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    Ich verstehe die Gründe für den Ausschluss dieser Ordner nicht wirklich (gibt es überhaupt einen?). Was wäre Ihre Meinung dazu?

    • Es dient hauptsächlich dazu, zu verhindern, dass etwas in diesen Ordnern als Ergebnis angezeigt wird, wenn ein Benutzer nach Ihrer Website sucht. Da dies nicht Ihr Inhalt ist, ist es nichts, was die meisten Leute für die Ergebnisse der Website erscheinen lassen möchten.

      Administrator

  5. Verweigern: /wp-admin/
    Erlauben: /wp-admin/admin-ajax.php

    GSC zeigt den Abdeckungfehler für "Disallow: /wp-admin/". Ist das falsch?

    • Für die meisten Websites möchten Sie nicht, dass etwas aus Ihrem wp-admin als Suchergebnis erscheint. Daher ist es in Ordnung und erwartet, die Abdeckungsfläche zu erhalten, wenn Sie Google die Fähigkeit verweigern, Ihr wp-admin zu scannen.

      Administrator

  6. Ich erstelle meine robots.txt manuell, wie Sie es für meine WordPress-Website angewiesen haben.

    Ich habe einen Zweifel. Wenn ich User-Agent: * schreibe, wird dann nicht ein anderer Spam-Bot auf meine Website zugreifen können?
    Sollte ich User-Agent: * oder User-Agent: Googlebot schreiben?

    • Die Zeile User-Agent legt die Regeln fest, denen alle Bots auf Ihrer Website folgen sollen. Wenn Sie einen bestimmten Bot in dieser Zeile angeben, würden die Regeln nur für diesen spezifischen Bot und keinen der anderen gelten.

      Administrator

  7. Sollten wir auch /wp-content/themes/ ablehnen?

    Es erscheint in den Suchergebnissen, wenn ich den Befehl site:abcdef.com in der Google-Suche ausführe.

    • Sie möchten sich keine Sorgen machen müssen, Ihren Themes-Ordner zu blockieren, und da Sie SEO-freundliche Inhalte schreiben, sollten Sie die Themes nicht mehr als Suchergebnis sehen.

      Administrator

    • Wenn Sie Ihren Upload-Ordner blockieren, würden Suchmaschinen Ihre hochgeladenen Inhalte wie Bilder normalerweise nicht crawlen.

      Administrator

  8. Sir, ich bin sehr verwirrt wegen robot.txt. Viele Male habe ich die Sitemap in Blogger eingereicht, aber nach 3-4 Tagen kommt das gleiche Problem. Was ist die genaue robot.txt? & Wie reiche ich sie ein? Bitte helfen Sie mir.

    • Nein, Google wird die Seite nicht auflisten, aber wenn die Seite aufgelistet ist, wird kein Fehler angezeigt.

      Administrator

  9. Hallo
    Ich habe eine Frage
    Ich erhalte eine Warnung wegen eines Problems mit der Abdeckung in der Google Search Console, das durch robots.txt blockiert wird
    /wp-admin/widgets.php
    Meine Frage ist, kann ich wp-admin/widgets.php für robots.txt zulassen und ist das sicher?

  10. Hallo! Ich mag diesen Artikel wirklich und da ich ein Anfänger mit all diesen Crawling-Sachen bin, möchte ich dazu etwas fragen. Kürzlich hat Google eine meiner Websites auf wirklich schreckliche Weise gecrawlt und indexiert und Seiten in den Suchergebnissen angezeigt, die von der Website gelöscht wurden. Die Website hat die Suchmaschine anfangs nicht daran gehindert, in den WordPress-Einstellungen zu indexieren, aber das tat sie später, nachdem Google sogar 3 weitere Seiten in den Suchergebnissen angezeigt hatte (diese Seiten existieren auch nicht) und ich verstehe wirklich nicht, wie das mit der Option „Suchmaschinen von der Indexierung abhalten“ passieren konnte. Kann die Yoast-Methode also hilfreich sein und eine Lösung für meine Website bieten, damit Google meine Website diesmal auf die richtige Weise indexiert? Vielen Dank im Voraus!

    • Das Yoast-Plugin sollte in der Lage sein, sicherzustellen, dass die von Ihnen erstellten Seiten richtig indiziert werden. Es besteht die Möglichkeit, dass Ihre Seite zwischengespeichert wurde, bevor Sie Suchmaschinen vom Crawling Ihrer Website abgehalten haben.

      Administrator

      • Nun ja, und von allen Seiten hat es die gecachten, die es nicht mehr gibt. Jedenfalls, da die aktuelle Seite auf „nicht ermutigen“ eingestellt ist, ist es besser, sie vorerst so zu belassen oder das Feld zu deaktivieren und Google es mit Yoasts Hilfe erneut crawlen und indizieren zu lassen? Danke! Mit Ihren Artikeln wurde alles einfacher!

        • Sie möchten, dass Google Ihre Website neu crawlt, sobald sie wie gewünscht eingerichtet ist.

  11. Hallo, ich habe den Artikel geliebt, sehr präzise und perfekt.
    Nur ein kleiner Vorschlag: Bitte aktualisieren Sie den ROBOTS.TXT-Tester, da sich die Google Console geändert hat, und es wäre großartig, wenn Sie den Link zum Überprüfen der robots.txt von Google hinzufügen würden.

  12. Die robots.txt-Datei meines Blogs war:
    User-Agent: *
    crawl-delay: 10

    Nachdem ich diesen Beitrag gelesen hatte, habe ich ihn in Ihre empfohlene robots.txt-Datei geändert. Ist es in Ordnung, dass ich crawl-delay entfernt habe

    • Das sollte in Ordnung sein, crawl-delay weist Suchmaschinen an, die Geschwindigkeit zu verlangsamen, mit der sie Ihre Website crawlen.

      Administrator

    • Wir verwenden /refer/, um auf verschiedene Affiliate-Links auf unserer Website weiterzuleiten. Wir möchten nicht, dass diese indexiert werden, da es sich nur um Weiterleitungen und nicht um tatsächliche Inhalte handelt.

      Administrator

  13. Vielen Dank für das Teilen. Das hat mir sehr geholfen, robots.txt zu verstehen.
    Ich habe meine robots.txt auf die von Ihnen vorgeschlagene ideale Version aktualisiert. Ich werde nun auf die Ergebnisse warten.

  14. Danke für die Update-Informationen für mich. Ihr Artikel war gut für die Robot txt-Datei. Er gab mir neue Informationen. Danke und halten Sie mich mit neuen Ideen auf dem Laufenden.

Eine Antwort hinterlassen

Vielen Dank, dass Sie sich entschieden haben, einen Kommentar zu hinterlassen. Bitte beachten Sie, dass alle Kommentare gemäß unserer Kommentarrichtlinie moderiert werden und Ihre E-Mail-Adresse NICHT veröffentlicht wird. Bitte verwenden Sie KEINE Schlüsselwörter im Namensfeld. Lassen Sie uns ein persönliches und bedeutungsvolles Gespräch führen.