Ihre WordPress-Website hat bereits eine robots.txt-Datei, und diese trifft Entscheidungen darüber, auf welche Inhalte Suchmaschinen-Crawler zugreifen können, unabhängig davon, ob Sie sie jemals bearbeitet haben oder nicht.
Die meisten dieser Entscheidungen sind harmlos. Aber eine einzige schlecht gewählte Regel kann Crawler auch von URLs fernhalten, die Sie eigentlich von ihnen entdeckt haben möchten.
In diesem Leitfaden zeigen wir Ihnen, was Ihre robots.txt-Datei gerade tut und wie Sie sie bearbeiten können, ohne Code anzufassen.
Hier ist alles, was wir in diesem Leitfaden behandeln werden:
Was ist eine robots.txt-Datei?
Robots.txt ist eine einfache Textdatei, die Suchmaschinen-Bots mitteilt, welche Teile Ihrer Website sie crawlen dürfen.
Die Datei befindet sich im Stammverzeichnis (dem Hauptordner) Ihrer Website. Das grundlegende Format sieht so aus:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Sie können so viele Regeln und Sitemaps hinzufügen, wie Sie benötigen. Wenn Sie eine URL nicht blockieren, gehen Bots davon aus, dass sie sie crawlen dürfen.
Ihre Website funktioniert ohne eine robots.txt-Datei, wenn Sie einen Blog starten. Wenn Ihr Inhalt jedoch wächst, wird diese Datei nützlicher.
Suchmaschinen geben jeder Website ein Crawl-Budget, d. h. die Anzahl der Seiten, die sie in einem bestimmten Zeitraum crawlen werden. Indem Sie unwichtige Seiten blockieren, helfen Sie Bots, dieses Budget für Inhalte auszugeben, die Sie in den Suchergebnissen sehen möchten.
Dies ist am wichtigsten für große Websites mit Tausenden von Seiten.
Beachten Sie, dass robots.txt die Steuerung des Crawlings, nicht des Indexierens, unterstützt.
- Crawling bedeutet, dass Suchmaschinen-Bots (wie Googlebot) Ihre Website besuchen, um deren Inhalte zu entdecken.
- Indexierung bedeutet, dass sie diese Inhalte ihrer riesigen Suchdatenbank hinzufügen, damit sie in den Suchergebnissen erscheinen können.
Stellen Sie es sich wie einen Bibliothekar vor, der ein neues Buch liest (Crawling) und es dann in den Katalog der Bibliothek aufnimmt (Indexierung).
Mit anderen Worten, robots.txt ist auch keine gute Methode, um Inhalte zu verbergen, da eine blockierte Seite immer noch in den Suchergebnissen erscheinen kann, wenn andere Websites darauf verlinken. Um eine Seite zuverlässig aus Google herauszuhalten, verwenden Sie stattdessen ein 'noindex'-Meta-Tag. Dies weist Suchmaschinen an, die Seite überhaupt nicht aufzulisten.
Beispiele und Best Practices für Robots.txt
Für die meisten WordPress-Sites können Sie Ihre robots.txt-Datei recht einfach halten. Hier ist die von uns empfohlene Grundeinrichtung:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Hier ist, was jede Regel bewirkt:
Allow: /wp-content/uploads/erlaubt Suchmaschinen, Ihre Bilder und andere Dateien zu crawlen, die in Ihre WordPress-Mediathek hochgeladen wurden.Allow: /wp-admin/admin-ajax.phphält den AJAX-Handler von WordPress zugänglich. Themes und Plugins können diese Datei verwenden, um Inhalte zu laden oder zu aktualisieren, ohne die Seite neu zu laden.Disallow: /wp-admin/verhindert, dass Crawler auf Ihren WordPress-Adminbereich zugreifen, der keine Inhalte enthält, die in den Suchergebnissen erscheinen sollen.Disallow: /readme.htmlverhindert, dass Crawler auf die Standard-readme.html-Datei von WordPress zugreifen. Diese Datei ist für Suchmaschinen nicht nützlich, daher gibt es wenig Grund für sie, sie zu crawlen.Disallow: /refer/verhindert, dass Crawler Affiliate- oder andere Weiterleitungs-URLs folgen, die das Präfix/refer/verwenden. Wenn Ihre Website ein anderes Präfix für diese Links verwendet, ersetzen Sie/refer/durch Ihr eigenes.Disallow: /?s=verhindert, dass Crawler die internen Such-URLs von WordPress anfordern. Diese Seiten sind im Allgemeinen keine nützlichen Landingpages für Suchmaschinen und können viele unnötige URLs zum Crawlen erzeugen.Sitemapteilt Suchmaschinen mit, wo sie Ihre XML-Sitemaps finden können. Dies erleichtert es ihnen, die von Ihnen gewünschten URLs zu entdecken, die sie crawlen sollen.
Dies sind die gleichen Kernregeln, die wir auf WPBeginner verwenden. Sie können unsere Live-Datei unter wpbeginner.com/robots.txt einsehen. Unsere Produktionsdatei enthält zusätzliche Regeln für eine viel größere Website, aber die Grundprinzipien sind die gleichen.
Beachten Sie, dass die Verwendung des Platzhalters * für alle Crawler gilt.
Diese Regel blockiert beispielsweise Googlebot am Crawlen des Ordners /private/:
User-agent: Googlebot
Disallow: /private/
Gängige User-Agent-Namen sind Googlebot (Google), Bingbot (Bing) und Baiduspider (Baidu).
So erstellen Sie eine Robots.txt-Datei in WordPress
Es gibt zwei Möglichkeiten, eine robots.txt-Datei in WordPress zu erstellen. Sie können die Methode wählen, die für Sie am besten geeignet ist.
Methode 1: robots.txt-Datei mit All in One SEO bearbeiten
Die meisten kostenlosen WordPress-SEO-Plugins, wie All in One SEO (AIOSEO), Yoast oder Rank Math, ermöglichen es Ihnen, Ihre robots.txt-Datei direkt über Ihr WordPress-Dashboard anzupassen.
Wir verwenden AIOSEO auf WPBeginner. Die kostenlose Version von AIOSEO hilft Ihnen, Ihre robots.txt-Regel während der Eingabe zu validieren, sodass Sie Syntaxfehler erkennen können, bevor sie live gehen.
Sobald das Plugin aktiv ist, gehen Sie einfach zu All in One SEO » Tools in Ihrem WordPress-Dashboard. Sie gelangen zum Robots.txt-Editor. Schalten Sie den Schalter „Benutzerdefinierte Robots.txt aktivieren“ ein, um mit der Bearbeitung zu beginnen.
Der Editor zeigt die Standardregeln an, die WordPress selbst generiert.
Jetzt können Sie Ihre eigenen Regeln hinzufügen. Geben Sie im Feld „User Agent“ einen User Agent ein oder verwenden Sie *, um die Regel auf alle Bots anzuwenden.
Wählen Sie dann in der Spalte „Directive“ „Allow“ oder „Disallow“ und geben Sie den Datei- oder Ordnerpfad im Feld „Value“ ein. Um eine weitere Regel hinzuzufügen, klicken Sie auf die Schaltfläche „Add Rule“.
Sie können Ihre endgültige Datei in der „Custom Robots.txt Preview“ am unteren Bildschirmrand überprüfen. Sie zeigt die vollständige Datei genau so an, wie Bots sie sehen werden.
Wenn Sie fertig sind, klicken Sie auf die Schaltfläche „Save Changes“, um Ihre Regeln zu speichern.
Methode 2: Robots.txt-Datei manuell per FTP bearbeiten
Wenn Sie Ihre robots.txt-Datei lieber direkt bearbeiten möchten, folgen Sie dieser Methode. Um die Datei zu bearbeiten, müssen Sie einen FTP-Client verwenden oder den Dateimanager in Ihrem WordPress-Hosting-Panel.
Bevor Sie etwas bearbeiten, laden Sie eine Sicherungskopie Ihrer aktuellen robots.txt-Datei auf Ihren Computer herunter. So können Sie sie wiederherstellen, wenn etwas schiefgeht.
Verbinden Sie zuerst Ihren FTP-Client mit Ihrer WordPress-Website und suchen Sie die robots.txt-Datei im Stammordner Ihrer Website.
Wenn Sie keine sehen, hat Ihre Website noch keine robots.txt-Datei. Sie können dort eine erstellen.
Robots.txt ist eine einfache Textdatei. Sie können sie herunterladen, in einem beliebigen Texteditor wie Notepad oder TextEdit bearbeiten und wieder in Ihren Stammordner hochladen.
So testen Sie Ihre Robots.txt-Datei
Überprüfen Sie Ihre robots.txt-Datei nach dem Erstellen oder Bearbeiten immer auf Fehler. Ein kleiner Tippfehler kann wichtige Seiten für Suchmaschinen blockieren, und Sie bemerken dies möglicherweise erst nach Wochen.
Der einfachste Weg, Ihre robots.txt-Datei auf Fehler zu testen, ist mit Google Search Console.
Stellen Sie zunächst sicher, dass Ihre Website mit der Google Search Console verbunden ist. Wenn nicht, folgen Sie unserer Anleitung, wie Sie Ihre WordPress-Website zur Google Search Console hinzufügen.
Gehen Sie dann zu Ihrem Search Console-Dashboard und öffnen Sie Einstellungen aus dem Menü unten links. Suchen Sie den Abschnitt „Crawling“ und klicken Sie auf „Bericht öffnen“ neben „robots.txt“.
Klicken Sie in der Liste auf die aktuelle Version der Datei. Der Bericht zeigt die neueste robots.txt, die Google gefunden hat, und hebt alle erkannten Syntaxfehler oder logischen Probleme hervor.
Wenn Sie Ihre Datei gerade aktualisiert haben und die Änderungen nicht angezeigt werden, geben Sie ihr einen Tag und überprüfen Sie sie dann erneut.
Häufig gestellte Fragen zu WordPress robots.txt
Hier sind die häufigsten Fragen, die Leser uns zur Optimierung der robots.txt-Datei in WordPress stellen.
1. Kann die Verwendung von robots.txt die Sicherheit meiner Website verbessern?
Nein, robots.txt ist keine Sicherheitsmaßnahme. Die Datei ist öffentlich sichtbar, sodass sie niemanden daran hindert, auf die von Ihnen aufgeführten URLs zuzugreifen. Sie gibt lediglich Anweisungen für gut funktionierende Suchmaschinen-Crawler.
2. Sollte ich WordPress-Kategorie- und Tag-Seiten in robots.txt blockieren?
Nein, Sie sollten keine Kategorie- und Tag-Seiten blockieren. Diese Archivseiten enthalten interne Links, denen Crawler folgen, um Ihre älteren Beiträge zu erreichen. Das Blockieren entfernt daher einen Entdeckungspfad für die Inhalte, die Sie indizieren möchten.
3. Was ist der Unterschied zwischen robots.txt und dem noindex-Tag?
Sie steuern unterschiedliche Dinge. robots.txt steuert, ob ein Crawler eine URL überhaupt besuchen kann. Das noindex-Tag steuert, ob Suchmaschinen eine Seite in den Suchergebnissen auflisten, auch wenn sie diese bereits besucht haben.
Verwenden Sie robots.txt, um Crawler von Bereichen wie Ihrem Admin-Panel, Ihrer Staging-Umgebung oder Plugin-Verzeichnissen zu blockieren. Verwenden Sie noindex für Seiten, bei denen es Ihnen nichts ausmacht, dass Google sie crawlt, wie z. B. gefilterte Archivseiten oder Dankesseiten, die Sie einfach nicht in den Suchergebnissen anzeigen lassen möchten.
Wir hoffen, dieser Artikel hat Ihnen geholfen zu lernen, wie Sie Ihre WordPress robots.txt-Datei für SEO optimieren. Möglicherweise möchten Sie auch unseren ultimativen WordPress SEO-Leitfaden und unsere Expertenauswahl für die besten WordPress SEO-Tools sehen, um Ihre Website zu erweitern.
Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.
Steve
Danke dafür – wie funktioniert das bei einer WP Multisite?
WPBeginner-Support
Für ein Multisite-Netzwerk benötigen Sie eine robots.txt-Datei im Stammverzeichnis jeder einzelnen Website.
Administrator
Pacifique Ndanyuzwe
Meine WordPress-Seite ist neu und meine robots.txt ist standardmäßig
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Ich möchte, dass Google meine Inhalte durchsucht und indexiert. Ist diese robots.txt in Ordnung?
WPBeginner-Support
Sie können das sicherlich verwenden, wenn Sie wollten
Administrator
Ritesh Seth
Toller Artikel...
Ich war tagelang verwirrt wegen der Robots.txt-Datei und der Disallow-Links. Habe die Tags für die Robots-Datei kopiert. Ich hoffe, das löst das Problem meiner Website
WPBeginner-Support
Wir hoffen, dass unser Artikel auch helfen wird
Administrator
Kurt
Die Dateien in den Screenshots Ihres Home-Ordners befinden sich tatsächlich unter dem Ordner public_html in meinem Home-Ordner.
Ich hatte keinen /refer-Ordner unter meinem public_html-Ordner.
Ich hatte keine XML-Dateien für Beiträge oder Seiten irgendwo in meinem WP-Konto.
Ich habe einen Eintrag in die von mir erstellte robots.txt-Datei aufgenommen, um das Crawling meiner Sandbox-Website zu verhindern. Ich bin mir nicht sicher, ob das notwendig ist, da ich bereits die Option in WP ausgewählt habe, die besagt, dass Crawler meine Sandbox-Website nicht crawlen sollen, aber ich glaube nicht, dass es schadet, den Eintrag zu haben.
WPBeginner-Support
Einige Hoster benennen public_html in home um, weshalb Sie es dort sehen. Sie möchten sicherstellen, dass Yoast aktiv ist, damit die XML-Dateien verfügbar sind. Die Methode in diesem Artikel ist eine zusätzliche Vorsichtsmaßnahme, um zu verhindern, dass Ihre Website gecrawlt wird
Administrator
Ahmed
Toller Artikel
WPBeginner-Support
Danke
Administrator
ASHOK KUMAR JADON
Hallo, so ein schöner Artikel, Sie haben mein Problem gelöst. Vielen Dank
WPBeginner-Support
Schön, dass unser Artikel helfen konnte
Administrator
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Das ist mein robot.txt-Code, aber ich bin verwirrt, warum mein /wp-admin indexiert wird? Wie kann ich es nicht indexieren?
WPBeginner-Support
Wenn es zuvor indiziert wurde, müssen Sie möglicherweise warten, bis der Cache der Suchmaschine gelöscht ist
Administrator
Ashish Kumar
Diese Website inspiriert mich wirklich, einen Blog zu starten. Vielen Dank, viel Team. Diese Website hat jeden einzelnen Artikel voller Informationen und Erklärungen. Wenn ich ein Problem habe, besuche ich zuerst diesen Blog. Danke
WPBeginner-Support
Es freut uns, dass unsere Artikel hilfreich sein können
Administrator
Anna
Ich versuche, Roboter für meine Website mit Yoast zu optimieren. Allerdings gibt es in Yoast unter Tools keine Option für den 'Dateieditor'.
Es gibt nur zwei Optionen:
(i) Importieren und Exportieren
(ii) Massenbearbeitung
Können Sie mir bitte raten, wie dies behoben werden kann? Könnte es sein, dass ich eine kostenlose Version von Yoast benutze?
WPBeginner-Support
Die kostenlose Version von Yoast hat immer noch die Option. Ihre Installation erlaubt möglicherweise keine Dateibearbeitung, in diesem Fall müssten Sie wahrscheinlich die FTP-Methode verwenden.
Administrator
Emmanuel Husseni
Ich finde diesen Artikel wirklich hilfreich, weil ich nicht viel darüber weiß, wie robot.txt funktioniert, aber jetzt weiß ich es.
Bitte, was ich nicht verstehe, ist, wie finde ich das beste Format für robot.txt, das ich auf meiner Website verwenden kann (ich meine, eines, das allgemein funktioniert)?
Mir ist aufgefallen, dass viele große Blogs, die ich besuche, in den Suchmaschinenergebnissen weit oben ranken und unterschiedliche robot.txt-Formate verwenden.
Ich würde mich über eine Antwort von Ihnen oder von jemandem, der helfen kann, freuen.
Redaktion
Eine Sitemap zu haben und die Bereiche, die erlaubt werden müssen, zuzulassen, ist der wichtigste Teil. Der Disallow-Teil variiert je nach Website. Wir haben ein Beispiel in unserem Blogbeitrag geteilt, und das sollte für die meisten WordPress-Websites gut sein.
Administrator
WPBeginner-Support
Hallo Emmanuel,
Bitte sehen Sie sich den Abschnitt zur idealen robots.txt-Datei an. Es hängt von Ihren eigenen Anforderungen ab. Die meisten Blogger schließen WordPress-Admin- und Plugin-Ordner vom Crawling aus.
Administrator
Emmanuel Husseni
Vielen Dank.
Jetzt verstehe ich. Ich denke, ich fange vorerst mit dem allgemeinen Format an.
Jack
Gut geschriebener Artikel, ich empfehle den Benutzern, eine Sitemap zu erstellen, bevor sie ihren ROBOTS-Text erstellen und aktivieren. Dies hilft Ihrer Website, schneller durchsucht und einfach indexiert zu werden.
Jack
Connie S Owens
Ich möchte verhindern, dass Suchmaschinen meine Archive während ihres Crawls indizieren.
Emmanuel Nonye
Vielen Dank, dieser Artikel war wirklich hilfreich
Cherisa
Ich erhalte weiterhin die unten stehende Fehlermeldung im Google Webmaster. Ich stecke im Grunde fest. Ein paar Dinge, die mir bei diesem Tutorial nicht klar waren, sind: Wo finde ich die Stammdateien meiner Website, wie stelle ich fest, ob ich bereits eine "robots.txt" habe und wie bearbeite ich sie?
WPBeginner-Support
Hallo Cherisa,
Der Stammordner Ihrer Website ist derjenige, der Ordner wie wp-admin, wp-includes, wp-content usw. enthält. Er enthält auch Dateien wie wp-config.php, wp-cron.php, wp-blogheader.php usw.
Wenn Sie in diesem Ordner keine robots.txt-Datei sehen können, dann haben Sie keine. Sie können eine neue erstellen.
Administrator
Cherisa
Vielen Dank für Ihre Antwort. Ich habe überall gesucht und kann diese Root-Dateien nicht finden, wie Sie beschreiben. Gibt es einen Pfadverzeichnis, dem ich folgen kann, der zu diesem Ordner führt? Wie z. B. unter Einstellungen usw.?
Devender
Ich hatte einen guten Web-Traffic auf meiner Website. Plötzlich fiel er im Mai auf Null. Bis jetzt habe ich das Problem. Bitte helfen Sie mir, meine Website wiederherzustellen.
Haris Aslam
Hallo, vielen Dank für diese Informationen, aber ich habe eine Frage.
Ich habe gerade die Sitemap.xml und die Robots.txt-Datei erstellt und sie werden gut gecrawlt. Aber wie kann ich "Product-Sitemap.xml" erstellen?
Es gibt eine vollständige Liste der Produkte in der sitemap.xml-Datei. Muss ich die Product-sitemap.xml separat erstellen?
und wieder bei Google oder Bing einreichen?
Können Sie mir bitte helfen?
Danke
Mahadi Hassan
Ich habe ein Problem mit der robots.txt-Dateieinstellung. Es wird nur eine robots.txt für alle Websites angezeigt. Bitte helfen Sie mir, separate robots.txt-Dateien für alle Websites anzuzeigen. Ich habe separate robots.txt-Dateien für jede einzelne Website. Aber nur eine robots.txt-Datei wird im Browser für alle Websites angezeigt.
Debu Majumdar
Bitte erklären Sie, warum Sie
Disallow: /refer/
in das Anfänger-Robots.txt-Beispiel aufgenommen haben? Ich verstehe die Auswirkungen dieser Zeile nicht. Ist das für Anfänger wichtig? Sie haben die beiden anderen verbotenen Zeilen erklärt.
Danke.
WPBeginner-Support
Hallo Debu,
Dieses Beispiel stammt aus der robots.txt-Datei von WPBeginner. Bei WPBeginner verwenden wir ThirstyAffiliates, um Affiliate-Links zu verwalten und URLs zu verschleiern. Diese URLs enthalten /refer/, deshalb blockieren wir sie in unserer robots.txt-Datei.
Administrator
Evaristo
Wie kann ich alle Tags/mydomain.Com auf nofollow setzen? In robots.txt, um den Link Juice zu konzentrieren? Danke.
harsh kumar
Hallo, ich bekomme einen Fehler in Yoast SEO bezüglich der Sitemap. Sobald ich auf „Fix it“ klicke, kommt er wieder. Meine Website-HTML wird nicht richtig geladen.
Tom
Ich habe gerade mein Google Webmaster Tools-Konto überprüft und über die Search Console Folgendes festgestellt:
Seite teilweise geladen
Nicht alle Seitenressourcen konnten geladen werden. Dies kann beeinflussen, wie Google Ihre Seite sieht und versteht. Beheben Sie Probleme mit der Verfügbarkeit von Ressourcen, die beeinflussen können, wie Google Ihre Seite versteht.
Dies liegt daran, dass alle CSS-Stylesheets, die mit Plugins verknüpft sind, von der Standard-robots.txt blockiert werden.
Ich verstehe gute Gründe, warum ich dies nicht einfach zulassen sollte, aber was wäre eine Alternative, da ich vermute, dass die Google-Algorithmen die Website dafür abstrafen, diese nicht zu sehen.
Suren
Hallo,
Immer wenn ich meine Website bei Google suche, erscheint dieser Text unter dem Link: „Eine Beschreibung für dieses Ergebnis ist nicht verfügbar, da die robots.txt dieser Website“
Wie kann ich dieses Problem lösen?
Mit freundlichen Grüßen
WPBeginner-Support
Hallo Suren,
Es scheint, als hätte jemand versehentlich die Datenschutzeinstellungen Ihrer Website geändert. Gehen Sie zu Einstellungen » Lesen und scrollen Sie nach unten zum Abschnitt „Suchmaschinen-Sichtbarkeit“. Stellen Sie sicher, dass das Kontrollkästchen daneben nicht aktiviert ist.
Administrator
Divyesh
Hallo
Wie ich im Webmaster-Tool gesehen habe, habe ich eine robots.txt-Datei wie folgt:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Lassen Sie mich wissen, ob das in Ordnung ist? Oder sollte ich etwas anderes verwenden?
John Cester
Ich möchte wissen, ob es eine gute Idee ist, „/wp-content/plugins/“ in robots.tx zu blockieren (zu verbieten)? Jedes Mal, wenn ich ein Plugin entferne, wird auf einigen Seiten dieses Plugins ein 404-Fehler angezeigt.
Himanshu Singh
Ich habe diese Erklärung geliebt. Als Anfänger war ich sehr verwirrt über die robot.txt-Datei und ihre Verwendung. Aber jetzt weiß ich, was ihr Zweck ist.
rahul
In einer robots.txt-Datei wurde index.php blockiert. Können Sie erklären, warum? Ist das eine gute Praxis?
Waleed Barakat
Danke, dass Sie diese wertvollen Informationen weitergegeben haben.
Awais Ahmed
Können Sie mir bitte sagen, warum das im Webmaster-Tool passiert:
Netzwerk nicht erreichbar: robots.txt nicht erreichbarWir konnten Ihre Sitemap nicht crawlen, da wir eine robots.txt-Datei im Stammverzeichnis Ihrer Website gefunden haben, sie aber nicht herunterladen konnten. Bitte stellen Sie sicher, dass sie zugänglich ist, oder entfernen Sie sie vollständig.
robots.txt Datei existiert, aber immer noch
Dozza
Interessantes Update vom Yoast-Team dazu unter
Zitat: „Die alten Best Practices, eine robots.txt zu haben, die den Zugriff auf Ihr wp-includes-Verzeichnis und Ihr Plugins-Verzeichnis blockiert, sind nicht mehr gültig.“
natveimaging
Allow: /wp-content/uploads/
Sollte das nicht so sein?
Disallow: /wp-content/uploads/
Weil Sie wissen, dass Google alle Ihre hochgeladenen Seiten als öffentliche URLs indizieren wird, richtig? Und dann erhalten Sie Fehler für die Seite selbst. Fehlt mir hier etwas?
nativeimaging
Insgesamt sind es die tatsächlichen Seiten, die Google crawlt, um Bildkarten zu generieren, NICHT die Upload-Ordner. Dann hätten Sie das Problem, dass alle kleineren Bildgrößen und andere Bilder, die für die Benutzeroberfläche bestimmt sind, ebenfalls indiziert werden.
Dies scheint die beste Option zu sein:
Disallow: /wp-content/uploads/
Wenn ich falsch liege, erklären Sie es mir bitte, damit ich Ihren Standpunkt hier verstehen kann.
Jason
Meine Blog-URL wird nicht indiziert. Muss ich meine robots.txt ändern? Ich benutze diese robots.txt
iyan
wie man eine robot txt erstellt, die NUR die Indexierung von Seiten und Beiträgen erlaubt.. danke
Simaran Singh
Ich bin mir nicht sicher, was das Problem ist, aber meine robots.txt hat zwei Versionen.
Eine unter http://www.example.com/robots.txt und die zweite unter example.com/robots.txt
Kann mir bitte jemand helfen! Lassen Sie mich wissen, was die mögliche Ursache sein könnte und wie ich sie beheben kann?
WPBeginner-Support
Höchstwahrscheinlich erlaubt Ihr Webhoster den Zugriff auf Ihre Website sowohl über www als auch über Nicht-www-URLs. Versuchen Sie, robots.txt mit einem FTP-Client zu ändern. Untersuchen Sie sie dann von beiden URLs aus, wenn Sie Ihre Änderungen auf beiden URLs sehen können, bedeutet dies, dass es sich um dieselbe Datei handelt.
Administrator
Simaran Singh
Danke für die schnelle Antwort. Das habe ich bereits getan, aber ich sehe keine Veränderung. Gibt es eine andere Möglichkeit, das Problem zu lösen?
Martin Conde
Yoasts Blogbeitrag zu diesem Thema stand in meiner Suche direkt über Ihrem, also habe ich natürlich beide überprüft. Sie widersprechen sich ein wenig. Zum Beispiel sagte Yoast, dass das Verweigern von Plugin-Verzeichnissen und anderen den Google-Crawlern beim Abrufen Ihrer Website behindern könnte, da Plugins CSS oder JS ausgeben können. Erwähnt wurde auch (und aus eigener Erfahrung), dass Yoast nichts Sitemap-bezogenes zur robots.txt hinzufügt, sondern sie so generiert, dass Sie sie zu Ihrer Search Console hinzufügen können. Hier ist der Link zu seinem Beitrag, vielleicht können Sie ihn noch einmal überprüfen, da es sehr schwer ist zu wählen, wessen Wort man nehmen soll
MM Nauman
Da ich nicht gut darin bin, diese Robotstxt-Datei zu erstellen, kann ich dann Ihre Robots.txt-Datei verwenden, indem ich die Parameter wie URL und Sitemap meiner Website ändere, ist das gut? Oder sollte ich eine andere erstellen?
Mohit Chauhan
Hallo,
Heute habe ich diese E-Mail von Google erhalten: „Googlebot kann nicht auf CSS- und JS-Dateien zugreifen“... was kann die Lösung sein?
Danke
Parmod
Lass mich raten... Du verwendest CDN-Dienste, um CSS- und JS-Dateien zu importieren. oder Es ist möglich, dass du eine falsche Syntax in diesen Dateien geschrieben hast.
Rahul
Ich habe eine Frage zum Hinzufügen von Sitemaps. Wie kann ich Yahoo und Bing Sitemap zur Robots-Datei und zum WordPress-Verzeichnis hinzufügen?
Gerbrand Petersen
Danke für die ausführliche Darstellung der Verwendung der robots-Datei. Weiß jemand, ob Yahoo auch diese robots.txt verwendet und ob sie die in der Datei genannten Regeln befolgt? Ich frage das, weil ich in meiner Datei ein „Disallow“ für eine bestimmte Seite habe, aber trotzdem Traffic von Yahoo auf dieser Seite erhalte. Nichts von Google, wie es sein sollte. Vielen Dank im Voraus.
Erwin
Korrektur...
„Wenn Sie das WordPress SEO-Plugin von Yoast oder ein anderes Plugin zur Generierung Ihrer XML-Sitemap verwenden, versucht Ihr Plugin, Ihre Sitemap-bezogenen Zeilen automatisch in die robots.txt-Datei einzufügen.“
Nicht wahr. WordPress SEO fügt die Sitemap nicht zur robots.txt hinzu
„Ich war immer der Meinung, dass die Verlinkung Ihrer XML-Sitemap aus Ihrer robots.txt ein wenig unsinnig ist. Sie sollten sie manuell zu Ihren Google und Bing Webmaster Tools hinzufügen und auf deren Feedback zu Ihrer XML-Sitemap achten. Das ist der Grund, warum unser WordPress SEO Plugin sie nicht zu Ihrer robots.txt hinzufügt.“
https://yoast.com/wordpress-robots-txt-example/
Empfehlenswerter ist auch, das Verzeichnis wp-plugins nicht zu sperren (Gründe siehe Yoasts Beitrag)
Und persönlich entferne ich gerne einfach die readme.txt-Datei…
Hyma
Ich habe die robots.txt-Datei und die Verwendung der robots-Datei verstanden. Was ist die Sitemap und wie erstelle ich eine Sitemap für meine Website?
Rick R. Duncan
Nach dem Lesen der Google-Dokumentation bin ich der Meinung, dass die zu verwendende Direktive in der robots.txt-Datei „disallow“ ist, die den Bots nur sagt, was sie crawlen können und was nicht. Sie sagt ihnen nicht, was indiziert werden kann und was nicht. Sie müssen das „noindex“-Robots-Meta-Tag verwenden, um eine Seite nicht zu indizieren.
Nitin
wirklich guter Artikel für eine SEO-optimierte robots.txt-Datei. Aber ich brauche eine Anleitung, wie man die robots.txt-Datei auf den Server hochlädt. Da es für Anfänger ein großes Problem zu sein scheint, diese Datei hochzuladen.
Übrigens, danke, dass Sie so nützliche Informationen geteilt haben.
-Nitin
Parmod
Laden Sie es auf Ihren Server/public_hmtl/(Ihr-Website-Name) ... in diesen Ordner hoch
Jenny
Was ist der beste Weg, um Code zu HTTacess hinzuzufügen, um mehrere Spam-Bot-Referrer für ihre URL und IP-Adresse zu blockieren, wenn keine URL angegeben ist
Ich weiß, wenn man eine falsche Syntax bei httacess hat, kann das die Website offline nehmen. Ich bin ein Anfänger und muss diese nervigen mehrfachen URLs aus Russland, China, der Ukraine usw. blockieren.
Vielen Dank
Hazel Andrews
Danke für diese Tipps... die robots.txt-Dateien wurden jetzt geändert! Juhu!
Rahat
Warum muss ich Allow: !!! hinzufügen?
Wenn ich nur erwähne, was Disallow sein muss, reicht das aus. Ich muss keinen Code für Allow schreiben, weil Googlebot oder Bingbot alles andere automatisch crawlen werden.
Warum sollte ich also Allow noch einmal verwenden?
Connor Rickett
Da das Fehlen der Robots.txt-Datei die Website nicht am Crawlen hindert, bin ich neugierig: Gibt es harte Daten darüber, wie sehr die Datei die SEO-Leistung verbessert?
Ich habe eine schnelle Google-Suche durchgeführt und keine quantitativen Daten dazu gefunden. Es gibt etwa eine halbe Million Artikel, die sagen: „Hey, das macht SEO besser!“, aber ich würde wirklich gerne wissen, worüber wir hier sprechen, auch allgemein.
Ist das ein 5% Boost? 50? 500?
WPBeginner-Support
Suchmaschinen teilen solche Daten nicht mit. Das Fehlen einer robots.txt-Datei hindert Suchmaschinen nicht daran, eine Website zu crawlen oder zu indexieren. Es ist jedoch eine empfohlene Vorgehensweise.
Administrator
Connor Rickett
Danke, dass Sie sich die Zeit genommen haben, mir zu antworten, ich weiß es zu schätzen!
JD Myers
Gutes Timing für diesen Artikel. Ich habe gestern versucht, diese Informationen zu finden.
Der Grund, warum ich danach gesucht habe, ist, dass Google Webmaster Tools mir mitteilte, dass sie meine Website nicht richtig crawlen konnten, weil ich verschiedene Ressourcen blockierte, die für das korrekte Rendern der Seite benötigt wurden.
Diese Ressourcen umfassten auch die, die sich in /wp-content/plugins/ befanden.
Nachdem ich diesen Ordner erlaubt hatte, verschwand die Warnung.
Irgendwelche Gedanken dazu?
WPBeginner-Support
Sie können diese Warnungen getrost ignorieren. Es ist nur eine Warnung, wenn Sie tatsächlich Inhalte dort hätten, die Sie indiziert haben möchten. Manchmal haben Benutzer Suchbots eingeschränkt und es vergessen. Diese Warnungen sind in solchen Situationen nützlich.
Administrator
Chetan Jadhav
Ich habe eine Frage, die viele Leute da draußen verwenden statische Sitemap, und Sie wissen, was sie haben WordPress-Website. Sollen wir statische oder von WordPress generierte Sitemap verwenden.
Wilton Calderon
Nett, ich mag die Art und Weise, wie Wpbeginner es hat, und mit diesem Rang in Alexa sieht es für mich wie der beste Weg aus, um robots.txt zu verwenden..
Brigitte Burke
Was bedeutet meine robots.txt-Datei, wenn sie so aussieht?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Redaktion
Es besagt lediglich, dass Suchmaschinen Ihren wp-admin-Ordner, Ihren wp-includes-Ordner und die xml-rpc-Datei nicht indexieren sollten. Manchmal kann das Verweigern von /wp-includes/ bestimmte Skripte für Suchmaschinen blockieren, insbesondere wenn Ihre Website diese Skripte verwendet. Dies kann Ihrer SEO schaden.
Am besten gehen Sie zu Google Webmaster Tools und rufen Sie Ihre Website dort als Bot ab. Wenn alles einwandfrei geladen wird, müssen Sie sich keine Sorgen machen. Wenn dort steht, dass Skripte blockiert sind, möchten Sie vielleicht die Zeile wp-includes entfernen.
Administrator
Herkules
Ich sehe keine Logik in Ihrer Idee, ein Skript im includes-Verzeichnis zu haben, das von einem Crawler / Roboter verwendet werden kann. Und zweitens, wenn es einen Einzelfall gibt, ist es besser, nachdem Sie das Standard-WordPress angegeben haben, erlauben Sie diese Datei, die Sie sich vorstellen, dass Suchmaschinen seine Skripte verwenden! Schließlich hat WordPress sicherlich nicht standardmäßig eine robots.txt gegen Suchmaschinen!!!!