Ihre WordPress-Website hat bereits eine robots.txt-Datei, und diese trifft Entscheidungen darüber, auf welche Inhalte Suchmaschinen-Crawler zugreifen können, unabhängig davon, ob Sie sie jemals bearbeitet haben oder nicht.
Die meisten dieser Entscheidungen sind harmlos. Aber eine einzige schlecht gewählte Regel kann Crawler auch von URLs fernhalten, die Sie eigentlich von ihnen entdeckt haben möchten.
In diesem Leitfaden zeigen wir Ihnen, was Ihre robots.txt-Datei gerade tut und wie Sie sie bearbeiten können, ohne Code anzufassen.
Hier ist alles, was wir in diesem Leitfaden behandeln werden:
Was ist eine robots.txt-Datei?
Robots.txt ist eine einfache Textdatei, die Suchmaschinen-Bots mitteilt, welche Teile Ihrer Website sie crawlen dürfen.
Die Datei befindet sich im Stammverzeichnis (dem Hauptordner) Ihrer Website. Das grundlegende Format sieht so aus:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Sie können so viele Regeln und Sitemaps hinzufügen, wie Sie benötigen. Wenn Sie eine URL nicht blockieren, gehen Bots davon aus, dass sie sie crawlen dürfen.
Ihre Website funktioniert ohne eine robots.txt-Datei, wenn Sie einen Blog starten. Wenn Ihr Inhalt jedoch wächst, wird diese Datei nützlicher.
Suchmaschinen geben jeder Website ein Crawl-Budget, d. h. die Anzahl der Seiten, die sie in einem bestimmten Zeitraum crawlen werden. Indem Sie unwichtige Seiten blockieren, helfen Sie Bots, dieses Budget für Inhalte auszugeben, die Sie in den Suchergebnissen sehen möchten.
Dies ist am wichtigsten für große Websites mit Tausenden von Seiten.
Beachten Sie, dass robots.txt die Steuerung des Crawlings, nicht des Indexierens, unterstützt.
- Crawling bedeutet, dass Suchmaschinen-Bots (wie Googlebot) Ihre Website besuchen, um deren Inhalte zu entdecken.
- Indexierung bedeutet, dass sie diese Inhalte ihrer riesigen Suchdatenbank hinzufügen, damit sie in den Suchergebnissen erscheinen können.
Stellen Sie es sich wie einen Bibliothekar vor, der ein neues Buch liest (Crawling) und es dann in den Katalog der Bibliothek aufnimmt (Indexierung).
Mit anderen Worten, robots.txt ist auch keine gute Methode, um Inhalte zu verbergen, da eine blockierte Seite immer noch in den Suchergebnissen erscheinen kann, wenn andere Websites darauf verlinken. Um eine Seite zuverlässig aus Google herauszuhalten, verwenden Sie stattdessen ein 'noindex'-Meta-Tag. Dies weist Suchmaschinen an, die Seite überhaupt nicht aufzulisten.
Beispiele und Best Practices für Robots.txt
Für die meisten WordPress-Sites können Sie Ihre robots.txt-Datei recht einfach halten. Hier ist die von uns empfohlene Grundeinrichtung:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Hier ist, was jede Regel bewirkt:
Allow: /wp-content/uploads/erlaubt Suchmaschinen, Ihre Bilder und andere Dateien zu crawlen, die in Ihre WordPress-Mediathek hochgeladen wurden.Allow: /wp-admin/admin-ajax.phphält den AJAX-Handler von WordPress zugänglich. Themes und Plugins können diese Datei verwenden, um Inhalte zu laden oder zu aktualisieren, ohne die Seite neu zu laden.Disallow: /wp-admin/verhindert, dass Crawler auf Ihren WordPress-Adminbereich zugreifen, der keine Inhalte enthält, die in den Suchergebnissen erscheinen sollen.Disallow: /readme.htmlverhindert, dass Crawler auf die Standard-readme.html-Datei von WordPress zugreifen. Diese Datei ist für Suchmaschinen nicht nützlich, daher gibt es wenig Grund für sie, sie zu crawlen.Disallow: /refer/verhindert, dass Crawler Affiliate- oder andere Weiterleitungs-URLs folgen, die das Präfix/refer/verwenden. Wenn Ihre Website ein anderes Präfix für diese Links verwendet, ersetzen Sie/refer/durch Ihr eigenes.Disallow: /?s=verhindert, dass Crawler die internen Such-URLs von WordPress anfordern. Diese Seiten sind im Allgemeinen keine nützlichen Landingpages für Suchmaschinen und können viele unnötige URLs zum Crawlen erzeugen.Sitemapteilt Suchmaschinen mit, wo sie Ihre XML-Sitemaps finden können. Dies erleichtert es ihnen, die von Ihnen gewünschten URLs zu entdecken, die sie crawlen sollen.
Dies sind die gleichen Kernregeln, die wir auf WPBeginner verwenden. Sie können unsere Live-Datei unter wpbeginner.com/robots.txt einsehen. Unsere Produktionsdatei enthält zusätzliche Regeln für eine viel größere Website, aber die Grundprinzipien sind die gleichen.
Beachten Sie, dass die Verwendung des Platzhalters * für alle Crawler gilt.
Diese Regel blockiert beispielsweise Googlebot am Crawlen des Ordners /private/:
User-agent: Googlebot
Disallow: /private/
Gängige User-Agent-Namen sind Googlebot (Google), Bingbot (Bing) und Baiduspider (Baidu).
So erstellen Sie eine Robots.txt-Datei in WordPress
Es gibt zwei Möglichkeiten, eine robots.txt-Datei in WordPress zu erstellen. Sie können die Methode wählen, die für Sie am besten geeignet ist.
Methode 1: robots.txt-Datei mit All in One SEO bearbeiten
Die meisten kostenlosen WordPress-SEO-Plugins, wie All in One SEO (AIOSEO), Yoast oder Rank Math, ermöglichen es Ihnen, Ihre robots.txt-Datei direkt über Ihr WordPress-Dashboard anzupassen.
Wir verwenden AIOSEO auf WPBeginner. Die kostenlose Version von AIOSEO hilft Ihnen, Ihre robots.txt-Regel während der Eingabe zu validieren, sodass Sie Syntaxfehler erkennen können, bevor sie live gehen.
Sobald das Plugin aktiv ist, gehen Sie einfach zu All in One SEO » Tools in Ihrem WordPress-Dashboard. Sie gelangen zum Robots.txt-Editor. Schalten Sie den Schalter „Benutzerdefinierte Robots.txt aktivieren“ ein, um mit der Bearbeitung zu beginnen.
Der Editor zeigt die Standardregeln an, die WordPress selbst generiert.
Jetzt können Sie Ihre eigenen Regeln hinzufügen. Geben Sie im Feld „User Agent“ einen User Agent ein oder verwenden Sie *, um die Regel auf alle Bots anzuwenden.
Wählen Sie dann in der Spalte „Directive“ „Allow“ oder „Disallow“ und geben Sie den Datei- oder Ordnerpfad im Feld „Value“ ein. Um eine weitere Regel hinzuzufügen, klicken Sie auf die Schaltfläche „Add Rule“.
Sie können Ihre endgültige Datei in der „Custom Robots.txt Preview“ am unteren Bildschirmrand überprüfen. Sie zeigt die vollständige Datei genau so an, wie Bots sie sehen werden.
Wenn Sie fertig sind, klicken Sie auf die Schaltfläche „Save Changes“, um Ihre Regeln zu speichern.
Methode 2: Robots.txt-Datei manuell per FTP bearbeiten
Wenn Sie Ihre robots.txt-Datei lieber direkt bearbeiten möchten, folgen Sie dieser Methode. Um die Datei zu bearbeiten, müssen Sie einen FTP-Client verwenden oder den Dateimanager in Ihrem WordPress-Hosting-Panel.
Bevor Sie etwas bearbeiten, laden Sie eine Sicherungskopie Ihrer aktuellen robots.txt-Datei auf Ihren Computer herunter. So können Sie sie wiederherstellen, wenn etwas schiefgeht.
Verbinden Sie zuerst Ihren FTP-Client mit Ihrer WordPress-Website und suchen Sie die robots.txt-Datei im Stammordner Ihrer Website.
Wenn Sie keine sehen, hat Ihre Website noch keine robots.txt-Datei. Sie können dort eine erstellen.
Robots.txt ist eine einfache Textdatei. Sie können sie herunterladen, in einem beliebigen Texteditor wie Notepad oder TextEdit bearbeiten und wieder in Ihren Stammordner hochladen.
So testen Sie Ihre Robots.txt-Datei
Überprüfen Sie Ihre robots.txt-Datei nach dem Erstellen oder Bearbeiten immer auf Fehler. Ein kleiner Tippfehler kann wichtige Seiten für Suchmaschinen blockieren, und Sie bemerken dies möglicherweise erst nach Wochen.
Der einfachste Weg, Ihre robots.txt-Datei auf Fehler zu testen, ist mit Google Search Console.
Stellen Sie zunächst sicher, dass Ihre Website mit der Google Search Console verbunden ist. Wenn nicht, folgen Sie unserer Anleitung, wie Sie Ihre WordPress-Website zur Google Search Console hinzufügen.
Gehen Sie dann zu Ihrem Search Console-Dashboard und öffnen Sie Einstellungen aus dem Menü unten links. Suchen Sie den Abschnitt „Crawling“ und klicken Sie auf „Bericht öffnen“ neben „robots.txt“.
Klicken Sie in der Liste auf die aktuelle Version der Datei. Der Bericht zeigt die neueste robots.txt, die Google gefunden hat, und hebt alle erkannten Syntaxfehler oder logischen Probleme hervor.
Wenn Sie Ihre Datei gerade aktualisiert haben und die Änderungen nicht angezeigt werden, geben Sie ihr einen Tag und überprüfen Sie sie dann erneut.
Häufig gestellte Fragen zu WordPress robots.txt
Hier sind die häufigsten Fragen, die Leser uns zur Optimierung der robots.txt-Datei in WordPress stellen.
1. Kann die Verwendung von robots.txt die Sicherheit meiner Website verbessern?
Nein, robots.txt ist keine Sicherheitsmaßnahme. Die Datei ist öffentlich sichtbar, sodass sie niemanden daran hindert, auf die von Ihnen aufgeführten URLs zuzugreifen. Sie gibt lediglich Anweisungen für gut funktionierende Suchmaschinen-Crawler.
2. Sollte ich WordPress-Kategorie- und Tag-Seiten in robots.txt blockieren?
Nein, Sie sollten keine Kategorie- und Tag-Seiten blockieren. Diese Archivseiten enthalten interne Links, denen Crawler folgen, um Ihre älteren Beiträge zu erreichen. Das Blockieren entfernt daher einen Entdeckungspfad für die Inhalte, die Sie indizieren möchten.
3. Was ist der Unterschied zwischen robots.txt und dem noindex-Tag?
Sie steuern unterschiedliche Dinge. robots.txt steuert, ob ein Crawler eine URL überhaupt besuchen kann. Das noindex-Tag steuert, ob Suchmaschinen eine Seite in den Suchergebnissen auflisten, auch wenn sie diese bereits besucht haben.
Verwenden Sie robots.txt, um Crawler von Bereichen wie Ihrem Admin-Panel, Ihrer Staging-Umgebung oder Plugin-Verzeichnissen zu blockieren. Verwenden Sie noindex für Seiten, bei denen es Ihnen nichts ausmacht, dass Google sie crawlt, wie z. B. gefilterte Archivseiten oder Dankesseiten, die Sie einfach nicht in den Suchergebnissen anzeigen lassen möchten.
Wir hoffen, dieser Artikel hat Ihnen geholfen zu lernen, wie Sie Ihre WordPress robots.txt-Datei für SEO optimieren. Möglicherweise möchten Sie auch unseren ultimativen WordPress SEO-Leitfaden und unsere Expertenauswahl für die besten WordPress SEO-Tools sehen, um Ihre Website zu erweitern.
Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.
Dennis Muthomi
Ich muss zugeben, ich benutze das AIOSEO-Plugin, habe aber immer die Option „Benutzerdefinierte Robots.txt aktivieren“ ignoriert, weil ich nichts durcheinanderbringen wollte.
Aber ich habe diesen Artikel gelesen und bin überzeugt, dass es sich lohnt, sich die Zeit zu nehmen, die Robots.txt-Datei meiner Website zu optimieren.
Amit Banerjee
Wenn die gesamte Vorlage für robots.txt gegeben worden wäre, wäre das hilfreich gewesen.
WPBeginner-Support
Wir haben die gesamte robots.txt
einbezogen
Administrator
Michael
Ich denke, Sie sollten Ihre Antwort ändern. Es sollte https statt http sein. Ist es richtig, auch Plugin-Dateien zu verbieten?
WPBeginner-Support
Vielen Dank für den Hinweis, unser Beispiel wurde aktualisiert. Um Plugins zu sperren, sollten Sie zur Sicherheit das spezifische Plugin überprüfen.
Moinuddin Waheed
Vielen Dank für diesen informativen Beitrag über die robots.txt-Datei.
Ich wusste nicht, dass Websites diese Datei pflegen sollten, um die Kontrolle über Google-Bots zu haben, wie sie unsere Seiten und Beiträge durchsuchen sollen.
Für Anfänger-Websites, die gerade erst anfangen, ist es notwendig, eine robots.txt-Datei zu haben, oder gibt es eine Möglichkeit wie ein Plugin, das eine robots.txt-Datei für unsere Website erstellen kann?
WPBeginner-Support
Die meisten SEO-Plugins helfen bei der Einrichtung der robots.txt für eine neue Website, um zu verhindern, dass Bots Bereiche durchsuchen, die sie nicht durchsuchen sollten.
Administrator
Jiří Vaněk
Dank diesem Artikel habe ich die robots.txt-Datei überprüft und URL-Adressen mit Sitemaps hinzugefügt. Gleichzeitig hatte ich dort andere problematische Zeilen, die vom Validator aufgedeckt wurden. Sitemaps in robots.txt waren mir bisher nicht bekannt. Danke.
WPBeginner-Support
Gern geschehen, wir freuen uns, dass unser Leitfaden helfen konnte!
Administrator
Stéphane
Hallo,
Danke für diesen Beitrag, es wird klarer, wie die robots.txt-Datei verwendet wird. Auf den meisten Websites, die Sie finden, wenn Sie nach Ratschlägen zur robots.txt-Datei suchen, können Sie sehen, dass die folgenden Ordner explizit vom Crawling ausgeschlossen sind (für WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Ich verstehe die Gründe für den Ausschluss dieser Ordner nicht wirklich (gibt es überhaupt einen?). Was wäre Ihre Meinung dazu?
WPBeginner-Support
Es dient hauptsächlich dazu, zu verhindern, dass etwas in diesen Ordnern als Ergebnis angezeigt wird, wenn ein Benutzer nach Ihrer Website sucht. Da dies nicht Ihr Inhalt ist, ist es nichts, was die meisten Leute für die Ergebnisse der Website erscheinen lassen möchten.
Administrator
zaid haris
Verweigern: /wp-admin/
Erlauben: /wp-admin/admin-ajax.php
GSC zeigt den Abdeckungfehler für "Disallow: /wp-admin/". Ist das falsch?
WPBeginner-Support
Für die meisten Websites möchten Sie nicht, dass etwas aus Ihrem wp-admin als Suchergebnis erscheint. Daher ist es in Ordnung und erwartet, die Abdeckungsfläche zu erhalten, wenn Sie Google die Fähigkeit verweigern, Ihr wp-admin zu scannen.
Administrator
Hansini
Ich erstelle meine robots.txt manuell, wie Sie es für meine WordPress-Website angewiesen haben.
Ich habe einen Zweifel. Wenn ich User-Agent: * schreibe, wird dann nicht ein anderer Spam-Bot auf meine Website zugreifen können?
Sollte ich User-Agent: * oder User-Agent: Googlebot schreiben?
WPBeginner-Support
Die Zeile User-Agent legt die Regeln fest, denen alle Bots auf Ihrer Website folgen sollen. Wenn Sie einen bestimmten Bot in dieser Zeile angeben, würden die Regeln nur für diesen spezifischen Bot und keinen der anderen gelten.
Administrator
Nishant
Was sollen wir schreiben, damit Google meinen Beitrag indexiert?
WPBeginner-Support
Damit Ihre Website gelistet wird, sollten Sie sich unseren Artikel unten ansehen:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Administrator
Sanjeev Pandey
Sollten wir auch /wp-content/themes/ ablehnen?
Es erscheint in den Suchergebnissen, wenn ich den Befehl site:abcdef.com in der Google-Suche ausführe.
WPBeginner-Support
Sie möchten sich keine Sorgen machen müssen, Ihren Themes-Ordner zu blockieren, und da Sie SEO-freundliche Inhalte schreiben, sollten Sie die Themes nicht mehr als Suchergebnis sehen.
Administrator
Salem
Hallo, was bedeutet „Disallow: /readme.html & Disallow: /refer/ “?
WPBeginner-Support
Das bedeutet, Sie weisen Suchmaschinen an, keine Verweislinks oder die readme.html-Datei zu beachten.
Administrator
sean
Hallo, was sind die Vor- und Nachteile des Blockierens von wp-content/uploads
Danke
WPBeginner-Support
Wenn Sie Ihren Upload-Ordner blockieren, würden Suchmaschinen Ihre hochgeladenen Inhalte wie Bilder normalerweise nicht crawlen.
Administrator
Piyush
Danke, dass Sie mein Problem gelöst haben
WPBeginner-Support
Gern geschehen
Administrator
Ravi kumar
Sir, ich bin sehr verwirrt wegen robot.txt. Viele Male habe ich die Sitemap in Blogger eingereicht, aber nach 3-4 Tagen kommt das gleiche Problem. Was ist die genaue robot.txt? & Wie reiche ich sie ein? Bitte helfen Sie mir.
WPBeginner-Support
Es würde von Ihrem spezifischen Problem abhängen. Möglicherweise möchten Sie einen Blick auf unsere Seite unten werfen:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Administrator
Prem
Wenn ich eine URL oder Seite mit der robots.txt-Datei nicht indexiere, zeigt Google dann einen Fehler in der Search Console an?
WPBeginner-Support
Nein, Google wird die Seite nicht auflisten, aber wenn die Seite aufgelistet ist, wird kein Fehler angezeigt.
Administrator
Bharat
Hallo
Ich habe eine Frage
Ich erhalte eine Warnung wegen eines Problems mit der Abdeckung in der Google Search Console, das durch robots.txt blockiert wird
/wp-admin/widgets.php
Meine Frage ist, kann ich wp-admin/widgets.php für robots.txt zulassen und ist das sicher?
WPBeginner-Support
Wenn Sie wollten, könnten Sie, aber das ist keine Datei, die Google crawlen muss.
Administrator
Anthony
Hallo, ich frage mich, ob Sie Folgendes zulassen sollten: /wp-admin/admin-ajax.php?
WPBeginner-Support
Normalerweise ja, das sollten Sie.
Administrator
Jaira
Kann ich wissen, warum Sie /wp-admin/admin-ajax.php erlauben sollten?
WPBeginner-Support
Sie wird von verschiedenen Themes und Plugins verwendet, um für Suchmaschinen korrekt angezeigt zu werden.
Amila
Hallo! Ich mag diesen Artikel wirklich und da ich ein Anfänger mit all diesen Crawling-Sachen bin, möchte ich dazu etwas fragen. Kürzlich hat Google eine meiner Websites auf wirklich schreckliche Weise gecrawlt und indexiert und Seiten in den Suchergebnissen angezeigt, die von der Website gelöscht wurden. Die Website hat die Suchmaschine anfangs nicht daran gehindert, in den WordPress-Einstellungen zu indexieren, aber das tat sie später, nachdem Google sogar 3 weitere Seiten in den Suchergebnissen angezeigt hatte (diese Seiten existieren auch nicht) und ich verstehe wirklich nicht, wie das mit der Option „Suchmaschinen von der Indexierung abhalten“ passieren konnte. Kann die Yoast-Methode also hilfreich sein und eine Lösung für meine Website bieten, damit Google meine Website diesmal auf die richtige Weise indexiert? Vielen Dank im Voraus!
WPBeginner-Support
Das Yoast-Plugin sollte in der Lage sein, sicherzustellen, dass die von Ihnen erstellten Seiten richtig indiziert werden. Es besteht die Möglichkeit, dass Ihre Seite zwischengespeichert wurde, bevor Sie Suchmaschinen vom Crawling Ihrer Website abgehalten haben.
Administrator
Amila
Nun ja, und von allen Seiten hat es die gecachten, die es nicht mehr gibt. Jedenfalls, da die aktuelle Seite auf „nicht ermutigen“ eingestellt ist, ist es besser, sie vorerst so zu belassen oder das Feld zu deaktivieren und Google es mit Yoasts Hilfe erneut crawlen und indizieren zu lassen? Danke! Mit Ihren Artikeln wurde alles einfacher!
WPBeginner-Support
Sie möchten, dass Google Ihre Website neu crawlt, sobald sie wie gewünscht eingerichtet ist.
Pradhuman Kumar
Hallo, ich habe den Artikel geliebt, sehr präzise und perfekt.
Nur ein kleiner Vorschlag: Bitte aktualisieren Sie den ROBOTS.TXT-Tester, da sich die Google Console geändert hat, und es wäre großartig, wenn Sie den Link zum Überprüfen der robots.txt von Google hinzufügen würden.
WPBeginner-Support
Vielen Dank für Ihr Feedback, wir werden den Artikel so bald wie möglich aktualisieren.
Administrator
Kamaljeet Singh
Die robots.txt-Datei meines Blogs war:
User-Agent: *
crawl-delay: 10
Nachdem ich diesen Beitrag gelesen hatte, habe ich ihn in Ihre empfohlene robots.txt-Datei geändert. Ist es in Ordnung, dass ich crawl-delay entfernt habe
WPBeginner-Support
Das sollte in Ordnung sein, crawl-delay weist Suchmaschinen an, die Geschwindigkeit zu verlangsamen, mit der sie Ihre Website crawlen.
Administrator
reena
Sehr schön beschrieben über robot.text, ich bin sehr glücklich
Sie sind ein sehr guter Schreiber
WPBeginner-Support
Danke, schön, dass Ihnen unser Artikel gefallen hat
Administrator
JJ
Was ist die Seite Disallow: /refer/ ? Ich bekomme eine 404, ist das eine versteckte WP-Datei?
Redaktion
Wir verwenden /refer/, um auf verschiedene Affiliate-Links auf unserer Website weiterzuleiten. Wir möchten nicht, dass diese indexiert werden, da es sich nur um Weiterleitungen und nicht um tatsächliche Inhalte handelt.
Administrator
Sagar Arakh
Vielen Dank für das Teilen. Das hat mir sehr geholfen, robots.txt zu verstehen.
Ich habe meine robots.txt auf die von Ihnen vorgeschlagene ideale Version aktualisiert. Ich werde nun auf die Ergebnisse warten.
WPBeginner-Support
Gern geschehen, ich freue mich, dass Sie bereit sind, unsere Empfehlungen zu nutzen
Administrator
Akash Gogoi
Sehr hilfreicher Artikel. Vielen Dank.
WPBeginner-Support
Wir freuen uns, dass unser Artikel hilfreich war
Administrator
Zingylancer
Danke für das Teilen dieser nützlichen Informationen über uns.
WPBeginner-Support
Wir freuen uns, diese Informationen über die robots.txt-Datei weitergeben zu können
Administrator
Jasper
Danke für die Update-Informationen für mich. Ihr Artikel war gut für die Robot txt-Datei. Er gab mir neue Informationen. Danke und halten Sie mich mit neuen Ideen auf dem Laufenden.
WPBeginner-Support
Wir freuen uns, dass unser Leitfaden hilfreich war
Administrator
Imran
Danke, ich habe robots.txt in WordPress hinzugefügt. Sehr guter Artikel
WPBeginner-Support
Danke, wir freuen uns, dass unser Artikel hilfreich war
Administrator
Steve
Danke dafür – wie funktioniert das bei einer WP Multisite?
WPBeginner-Support
Für ein Multisite-Netzwerk benötigen Sie eine robots.txt-Datei im Stammverzeichnis jeder einzelnen Website.
Administrator
Pacifique Ndanyuzwe
Meine WordPress-Seite ist neu und meine robots.txt ist standardmäßig
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Ich möchte, dass Google meine Inhalte durchsucht und indexiert. Ist diese robots.txt in Ordnung?
WPBeginner-Support
Sie können das sicherlich verwenden, wenn Sie wollten
Administrator
Ritesh Seth
Toller Artikel...
Ich war tagelang verwirrt wegen der Robots.txt-Datei und der Disallow-Links. Habe die Tags für die Robots-Datei kopiert. Ich hoffe, das löst das Problem meiner Website
WPBeginner-Support
Wir hoffen, dass unser Artikel auch helfen wird
Administrator
Kurt
Die Dateien in den Screenshots Ihres Home-Ordners befinden sich tatsächlich unter dem Ordner public_html in meinem Home-Ordner.
Ich hatte keinen /refer-Ordner unter meinem public_html-Ordner.
Ich hatte keine XML-Dateien für Beiträge oder Seiten irgendwo in meinem WP-Konto.
Ich habe einen Eintrag in die von mir erstellte robots.txt-Datei aufgenommen, um das Crawling meiner Sandbox-Website zu verhindern. Ich bin mir nicht sicher, ob das notwendig ist, da ich bereits die Option in WP ausgewählt habe, die besagt, dass Crawler meine Sandbox-Website nicht crawlen sollen, aber ich glaube nicht, dass es schadet, den Eintrag zu haben.
WPBeginner-Support
Einige Hoster benennen public_html in home um, weshalb Sie es dort sehen. Sie möchten sicherstellen, dass Yoast aktiv ist, damit die XML-Dateien verfügbar sind. Die Methode in diesem Artikel ist eine zusätzliche Vorsichtsmaßnahme, um zu verhindern, dass Ihre Website gecrawlt wird
Administrator
Ahmed
Toller Artikel
WPBeginner-Support
Danke
Administrator
ASHOK KUMAR JADON
Hallo, so ein schöner Artikel, Sie haben mein Problem gelöst. Vielen Dank
WPBeginner-Support
Schön, dass unser Artikel helfen konnte
Administrator
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Das ist mein robot.txt-Code, aber ich bin verwirrt, warum mein /wp-admin indexiert wird? Wie kann ich es nicht indexieren?
WPBeginner-Support
Wenn es zuvor indiziert wurde, müssen Sie möglicherweise warten, bis der Cache der Suchmaschine gelöscht ist
Administrator
Ashish Kumar
Diese Website inspiriert mich wirklich, einen Blog zu starten. Vielen Dank, viel Team. Diese Website hat jeden einzelnen Artikel voller Informationen und Erklärungen. Wenn ich ein Problem habe, besuche ich zuerst diesen Blog. Danke
WPBeginner-Support
Es freut uns, dass unsere Artikel hilfreich sein können
Administrator
Anna
Ich versuche, Roboter für meine Website mit Yoast zu optimieren. Allerdings gibt es in Yoast unter Tools keine Option für den 'Dateieditor'.
Es gibt nur zwei Optionen:
(i) Importieren und Exportieren
(ii) Massenbearbeitung
Können Sie mir bitte raten, wie dies behoben werden kann? Könnte es sein, dass ich eine kostenlose Version von Yoast benutze?
WPBeginner-Support
Die kostenlose Version von Yoast hat immer noch die Option. Ihre Installation erlaubt möglicherweise keine Dateibearbeitung, in diesem Fall müssten Sie wahrscheinlich die FTP-Methode verwenden.
Administrator
Emmanuel Husseni
Ich finde diesen Artikel wirklich hilfreich, weil ich nicht viel darüber weiß, wie robot.txt funktioniert, aber jetzt weiß ich es.
Bitte, was ich nicht verstehe, ist, wie finde ich das beste Format für robot.txt, das ich auf meiner Website verwenden kann (ich meine, eines, das allgemein funktioniert)?
Mir ist aufgefallen, dass viele große Blogs, die ich besuche, in den Suchmaschinenergebnissen weit oben ranken und unterschiedliche robot.txt-Formate verwenden.
Ich würde mich über eine Antwort von Ihnen oder von jemandem, der helfen kann, freuen.
Redaktion
Eine Sitemap zu haben und die Bereiche, die erlaubt werden müssen, zuzulassen, ist der wichtigste Teil. Der Disallow-Teil variiert je nach Website. Wir haben ein Beispiel in unserem Blogbeitrag geteilt, und das sollte für die meisten WordPress-Websites gut sein.
Administrator
WPBeginner-Support
Hallo Emmanuel,
Bitte sehen Sie sich den Abschnitt zur idealen robots.txt-Datei an. Es hängt von Ihren eigenen Anforderungen ab. Die meisten Blogger schließen WordPress-Admin- und Plugin-Ordner vom Crawling aus.
Administrator
Emmanuel Husseni
Vielen Dank.
Jetzt verstehe ich. Ich denke, ich fange vorerst mit dem allgemeinen Format an.
Jack
Gut geschriebener Artikel, ich empfehle den Benutzern, eine Sitemap zu erstellen, bevor sie ihren ROBOTS-Text erstellen und aktivieren. Dies hilft Ihrer Website, schneller durchsucht und einfach indexiert zu werden.
Jack
Connie S Owens
Ich möchte verhindern, dass Suchmaschinen meine Archive während ihres Crawls indizieren.
Emmanuel Nonye
Vielen Dank, dieser Artikel war wirklich hilfreich
Cherisa
Ich erhalte weiterhin die unten stehende Fehlermeldung im Google Webmaster. Ich stecke im Grunde fest. Ein paar Dinge, die mir bei diesem Tutorial nicht klar waren, sind: Wo finde ich die Stammdateien meiner Website, wie stelle ich fest, ob ich bereits eine "robots.txt" habe und wie bearbeite ich sie?
WPBeginner-Support
Hallo Cherisa,
Der Stammordner Ihrer Website ist derjenige, der Ordner wie wp-admin, wp-includes, wp-content usw. enthält. Er enthält auch Dateien wie wp-config.php, wp-cron.php, wp-blogheader.php usw.
Wenn Sie in diesem Ordner keine robots.txt-Datei sehen können, dann haben Sie keine. Sie können eine neue erstellen.
Administrator
Cherisa
Vielen Dank für Ihre Antwort. Ich habe überall gesucht und kann diese Root-Dateien nicht finden, wie Sie beschreiben. Gibt es einen Pfadverzeichnis, dem ich folgen kann, der zu diesem Ordner führt? Wie z. B. unter Einstellungen usw.?
Devender
Ich hatte einen guten Web-Traffic auf meiner Website. Plötzlich fiel er im Mai auf Null. Bis jetzt habe ich das Problem. Bitte helfen Sie mir, meine Website wiederherzustellen.
Haris Aslam
Hallo, vielen Dank für diese Informationen, aber ich habe eine Frage.
Ich habe gerade die Sitemap.xml und die Robots.txt-Datei erstellt und sie werden gut gecrawlt. Aber wie kann ich "Product-Sitemap.xml" erstellen?
Es gibt eine vollständige Liste der Produkte in der sitemap.xml-Datei. Muss ich die Product-sitemap.xml separat erstellen?
und wieder bei Google oder Bing einreichen?
Können Sie mir bitte helfen?
Danke
Mahadi Hassan
Ich habe ein Problem mit der robots.txt-Dateieinstellung. Es wird nur eine robots.txt für alle Websites angezeigt. Bitte helfen Sie mir, separate robots.txt-Dateien für alle Websites anzuzeigen. Ich habe separate robots.txt-Dateien für jede einzelne Website. Aber nur eine robots.txt-Datei wird im Browser für alle Websites angezeigt.
Debu Majumdar
Bitte erklären Sie, warum Sie
Disallow: /refer/
in das Anfänger-Robots.txt-Beispiel aufgenommen haben? Ich verstehe die Auswirkungen dieser Zeile nicht. Ist das für Anfänger wichtig? Sie haben die beiden anderen verbotenen Zeilen erklärt.
Danke.
WPBeginner-Support
Hallo Debu,
Dieses Beispiel stammt aus der robots.txt-Datei von WPBeginner. Bei WPBeginner verwenden wir ThirstyAffiliates, um Affiliate-Links zu verwalten und URLs zu verschleiern. Diese URLs enthalten /refer/, deshalb blockieren wir sie in unserer robots.txt-Datei.
Administrator
Evaristo
Wie kann ich alle Tags/mydomain.Com auf nofollow setzen? In robots.txt, um den Link Juice zu konzentrieren? Danke.
harsh kumar
Hallo, ich bekomme einen Fehler in Yoast SEO bezüglich der Sitemap. Sobald ich auf „Fix it“ klicke, kommt er wieder. Meine Website-HTML wird nicht richtig geladen.
Tom
Ich habe gerade mein Google Webmaster Tools-Konto überprüft und über die Search Console Folgendes festgestellt:
Seite teilweise geladen
Nicht alle Seitenressourcen konnten geladen werden. Dies kann beeinflussen, wie Google Ihre Seite sieht und versteht. Beheben Sie Probleme mit der Verfügbarkeit von Ressourcen, die beeinflussen können, wie Google Ihre Seite versteht.
Dies liegt daran, dass alle CSS-Stylesheets, die mit Plugins verknüpft sind, von der Standard-robots.txt blockiert werden.
Ich verstehe gute Gründe, warum ich dies nicht einfach zulassen sollte, aber was wäre eine Alternative, da ich vermute, dass die Google-Algorithmen die Website dafür abstrafen, diese nicht zu sehen.
Suren
Hallo,
Immer wenn ich meine Website bei Google suche, erscheint dieser Text unter dem Link: „Eine Beschreibung für dieses Ergebnis ist nicht verfügbar, da die robots.txt dieser Website“
Wie kann ich dieses Problem lösen?
Mit freundlichen Grüßen
WPBeginner-Support
Hallo Suren,
Es scheint, als hätte jemand versehentlich die Datenschutzeinstellungen Ihrer Website geändert. Gehen Sie zu Einstellungen » Lesen und scrollen Sie nach unten zum Abschnitt „Suchmaschinen-Sichtbarkeit“. Stellen Sie sicher, dass das Kontrollkästchen daneben nicht aktiviert ist.
Administrator
Divyesh
Hallo
Wie ich im Webmaster-Tool gesehen habe, habe ich eine robots.txt-Datei wie folgt:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Lassen Sie mich wissen, ob das in Ordnung ist? Oder sollte ich etwas anderes verwenden?
John Cester
Ich möchte wissen, ob es eine gute Idee ist, „/wp-content/plugins/“ in robots.tx zu blockieren (zu verbieten)? Jedes Mal, wenn ich ein Plugin entferne, wird auf einigen Seiten dieses Plugins ein 404-Fehler angezeigt.