Arbeiten Sie an einer WordPress-Website, die noch nicht startklar ist? Wahrscheinlich möchten Sie nicht, dass unfertige Seiten bereits vor Ihrer Bereitschaft in den Suchergebnissen erscheinen.
In dieser Anleitung zeigen wir Ihnen, wie Sie das Crawling und die Indexierung durch Suchmaschinen in WordPress steuern. Wir erklären auch, welche Methode Sie verwenden sollten, um eine gesamte Website, eine einzelne Seite oder einen bestimmten Ordner auszublenden.
Wichtig: Crawling ist nicht dasselbe wie Indexierung
Viele Anfänger hindern Suchmaschinen am Crawlen ihrer Website, obwohl sie eigentlich die Indexierung stoppen wollen. Es ist wichtig, den Unterschied zwischen beiden zu verstehen.
Crawling ist, wenn Suchmaschinen-Bots Ihre Website besuchen, um Inhalte zu entdecken. Indexierung ist, wenn sie diese Inhalte ihrer durchsuchbaren Datenbank hinzufügen.
Stellen Sie es sich wie einen Bibliothekar vor, der ein neues Buch liest (Crawling) und es dann in den Katalog der Bibliothek aufnimmt (Indexierung).
Das ist wichtig, denn das Blockieren des Crawlings verhindert nicht immer die Indexierung. Wenn Google eine blockierte URL über Links von anderen Websites entdeckt, kann es die URL trotzdem indexieren. Da Google die Seite nicht crawlen kann, wird in den Suchergebnissen möglicherweise angezeigt: „Keine Informationen für diese Seite verfügbar“.
Möchten Sie wissen, ob Sie das Crawling oder die Indexierung Ihrer Website deaktivieren sollen? Hier ist eine kurze Anleitung:
| Anwendungsfall | Was zu tun ist | Das richtige Werkzeug |
|---|---|---|
| Eine noch nicht gestartete Website ausblenden | Allen Zugriff blockieren | WordPress Lese-Einstellung + Passwortschutz |
| Eine Seite oder einen Beitrag von Google entfernen | Crawlbar halten und Indexierung stoppen | noindex-Tag hinzufügen |
| Bots von einem Ordner fernhalten | Crawling dieses Ordners stoppen | robots.txt Disallow |
Klicken Sie auf die folgenden Links, um zur gewünschten Methode zu springen:
- Methode 1: Die WordPress-Einstellung verwenden, um die Indexierung zu verhindern
- Methode 2: Verhindern, dass eine einzelne Seite oder ein Beitrag indexiert wird
- Methode 3: Bearbeiten Sie Ihre robots.txt-Datei manuell
- Methode 4: Verwenden Sie X-Robots-Tag, um die Indexierung zu verhindern
- Methode 5: Schützen Sie die gesamte Website mit cPanel per Passwort
- FAQs zum Stoppen von Suchmaschinen beim Crawlen einer WordPress-Website
Methode 1: Die WordPress-Einstellung verwenden, um die Indexierung zu verhindern
WordPress verfügt über eine integrierte Einstellung, die Suchmaschinen bittet, Ihre Website nicht zu indexieren. Gehen Sie zu Einstellungen » Lesen und aktivieren Sie „Suchmaschinen davon abhalten, diese Website zu indexieren“.
Wenn Sie sie aktivieren, fügt WordPress Ihren Seiten ein noindex,nofollow-Robots-Meta-Tag hinzu:
<meta name="robots" content="noindex,nofollow">
Die noindex-Anweisung fordert Suchmaschinen auf, Ihre Seiten nicht in die Suchergebnisse aufzunehmen, während nofollow sie auffordert, den Links auf diesen Seiten nicht zu folgen.
WordPress warnt auch, dass es den Suchmaschinen überlassen bleibt, diese Anfrage zu befolgen. Mit anderen Worten, diese Einstellung fordert Suchmaschinen auf, Ihre Website nicht zu indexieren, aber sie hindert sie nicht daran, darauf zuzugreifen.
Wenn Sie es für Suchmaschinen unmöglich machen wollen, Ihre Website zu indexieren oder zu crawlen, dann müssen Sie Ihre WordPress-Seite mit einem Passwort schützen.
Methode 2: Verhindern, dass eine einzelne Seite oder ein Beitrag indexiert wird
Wenn Ihre Seite in den Suchergebnissen bleiben soll, Sie aber eine Seite oder einen Beitrag von Google fernhalten möchten, fügen Sie dieser Seite eine noindex-Anweisung hinzu.
Die meisten kostenlosen WordPress-SEO-Plugins können dies tun. Wir verwenden die kostenlose Version von All in One SEO auf WPBeginner, daher zeigen wir Ihnen, wie es damit funktioniert. Installieren, aktivieren und richten Sie das Plugin zuerst auf Ihrer Website ein.
Bearbeiten Sie dann den Beitrag oder die Seite, die Sie aus den Suchergebnissen entfernen möchten. Scrollen Sie nach unten zu den AIOSEO-Einstellungen und wechseln Sie zur Registerkarte „Erweitert“. Schalten Sie „Standardeinstellungen verwenden“ aus und wählen Sie „Kein Index“.
Klicken Sie auf „Aktualisieren“ oder „Veröffentlichen“, um Ihre Änderungen zu speichern. AIOSEO fügt der Seite nun die noindex-Anweisung hinzu und weist Suchmaschinen an, sie nicht in ihre Indizes aufzunehmen.
Methode 3: Bearbeiten Sie Ihre robots.txt-Datei manuell
Verwenden Sie robots.txt, wenn Sie Crawler anweisen möchten, einen bestimmten Teil Ihrer WordPress-Website nicht zu crawlen, anstatt die gesamte Website zu blockieren. Sie können beispielsweise Bots daran hindern, einen /private/-Ordner zu crawlen, während sie den Rest Ihrer Website crawlen dürfen.
WordPress generiert Ihre robots.txt-Datei normalerweise automatisch. Sie können sie anzeigen, indem Sie ihredomain.com/robots.txt aufrufen.
Die meisten kostenlosen WordPress-SEO-Plugins, einschließlich All in One SEO, ermöglichen es Ihnen, robots.txt direkt über Ihr WordPress-Dashboard zu bearbeiten. Alternativ können Sie eine robots.txt-Datei in Ihrem Stammverzeichnis der Website erstellen oder bearbeiten, indem Sie den Dateimanager Ihres Hostings oder FTP verwenden. Detaillierte Anweisungen finden Sie in unserem Leitfaden zur Optimierung Ihrer WordPress robots.txt für SEO.
Sobald Sie die Datei geöffnet haben, kopieren Sie den folgenden Code in Ihre robots.txt-Datei.
User-agent: *
Disallow: /private/
Ersetzen Sie /private/ durch den URL-Pfad, den Suchmaschinen nicht mehr crawlen sollen.
Methode 4: Verwenden Sie X-Robots-Tag, um die Indexierung zu verhindern
Wenn Sie eine Datei wie eine PDF-Datei aus den Suchergebnissen heraushalten müssen, können Sie den X-Robots-Tag-HTTP-Header verwenden. Im Gegensatz zu einem Robots-Meta-Tag funktioniert er mit Dateien, die keine HTML-Seite haben, auf der Sie noindex hinzufügen können.
Für Apache-Server fügen Sie den folgenden Code zu Ihrer .htaccess-Datei hinzu:
<FilesMatch ".pdf$">
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex"
</IfModule>
</FilesMatch>
Wenn Sie AIOSEO verwenden, können Sie Ihre .htaccess-Datei auch unter All in One SEO » Tools » .htaccess Editor bearbeiten.
Warnung: Das Bearbeiten der .htaccess-Datei kann Ihre Website beschädigen, wenn sie falsch durchgeführt wird. Bitte stellen Sie sicher, dass Sie ein Backup Ihrer WordPress-Website erstellen oder eine Kopie Ihrer .htaccess-Datei erstellen, bevor Sie Änderungen vornehmen.
Methode 5: Schützen Sie die gesamte Website mit cPanel per Passwort
Wenn sich Ihre Website noch im Aufbau befindet und Sie verhindern möchten, dass Suchmaschinen darauf zugreifen, müssen Sie den Passwortschutz für Ihre gesamte Website aktivieren. Dies blockiert Besucher und Crawler vom Zugriff auf die Website, bis Sie das Passwort entfernen.
Wenn Ihr Hosting-Anbieter cPanel anbietet, melden Sie sich bei Ihrem Konto an und öffnen Sie „Directory Privacy“ unter „Files“.
Finden Sie das Verzeichnis, in dem WordPress installiert ist. Dies ist oft public_html. Wenn Sie mehrere Websites haben, öffnen Sie public_html und wählen Sie den Ordner für die Website aus, die Sie schützen möchten.
Klicken Sie neben dem Verzeichnis auf „Bearbeiten“. Überprüfen Sie auf dem neuen Bildschirm „Dieses Verzeichnis mit einem Passwort schützen“, geben Sie einen Namen für das geschützte Verzeichnis ein und klicken Sie auf „Speichern“.
Verwenden Sie dann den Abschnitt „Benutzer erstellen“, um einen Benutzernamen und ein Passwort einzugeben. Ihre Website erfordert nun diese Anmeldedaten, bevor jemand darauf zugreifen kann, einschließlich Suchmaschinen-Crawlern.
Beachten Sie, dass der serverseitige Passwortschutz den gesamten Zugriff auf die Website blockiert. Externe Dienste wie Zahlungs-Gateways oder Cron-Jobs funktionieren möglicherweise nicht, bis Sie den Schutz entfernen.
FAQs zum Stoppen von Suchmaschinen beim Crawlen einer WordPress-Website
1. Schadet das Passwortschutz meiner Website meinem SEO, wenn ich bereit bin, sie zu starten?
Nein. Das Passwortschutz Ihrer Website während der Erstellung schadet Ihrem SEO nicht. Sobald Sie das Passwort entfernen, können Suchmaschinen Ihre Seiten normal crawlen und indexieren.
2. Wie schalte ich SEO in WordPress aus?
WordPress hat keine Einstellung, um „SEO auszuschalten“. Wenn Sie Ihre Website aus den Suchergebnissen heraushalten möchten, aktivieren Sie „Suchmaschinen davon abhalten, diese Website zu indexieren“ unter Einstellungen » Lesen.
3. Wie verstecke ich meine WordPress-Website beim Testen vor Suchmaschinen?
Schützen Sie die Website per Passwort über Ihr Hosting-Control-Panel, wenn Ihr Hoster diese Option anbietet. Beispielsweise können cPanel-Benutzer die Verzeichnisschutzfunktion verwenden, um einen Benutzernamen und ein Passwort zu verlangen, bevor jemand auf die Website zugreifen kann.
4. Was ist der Unterschied zwischen noindex und nofollow?
noindex weist Suchmaschinen an, eine Seite nicht in die Suchergebnisse aufzunehmen. nofollow weist sie an, den Links auf dieser Seite nicht zu folgen. Sie steuern unterschiedliche Dinge und können bei Bedarf zusammen verwendet werden.
Wir hoffen, dieser Artikel hat Ihnen geholfen, Suchmaschinen vom Crawlen oder Indexieren Ihrer WordPress-Website abzuhalten. Möglicherweise möchten Sie unsere WordPress SEO-Checkliste ansehen, wenn Sie bereit sind, Ihre Website zu starten.
Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.
Oyatogun Oluwaseun Samuel
Wow!, Danke wpBeginner, ich hätte nie daran gedacht, den Passwortschutz für den public_html-Ordner zu aktivieren. Danke für diese Perspektive. Vielen Dank!
Jiří Vaněk
Ich habe oft gelesen, dass diese Verfahren, sowie robots.txt, nur empfohlene Verhaltensweisen für einen Roboter sind. Wie vermeidet man es, wirklich gesucht zu werden. Ist es zum Beispiel möglich, die Bereiche von Google und Bing mithilfe einer .htaccess-Datei zu blockieren?
WPBeginner-Support
Sie würden Methode 3 oder 4 verwenden, um den Zugriff auf Ihre Website vollständig zu blockieren.
Administrator
Jiří Vaněk
Ich verstehe das, aber ich gehe davon aus, dass die Website dann nicht öffentlich ist und nur diejenigen darauf zugreifen können, die die Anmeldedaten und das Passwort kennen? Meine Idee war, einfach zu versuchen, die IP-Bereiche der Bots zu finden und sie auf der Ebene der htacess-Datei zu blockieren, z. B. Macht das Sinn oder ist das Unsinn?
WPBeginner-Support
Es gibt keine Garantie dafür, dass die Bots die Website zu einem späteren Zeitpunkt mit einer anderen IP-Adresse nicht finden. Wenn Sie sicher sein wollen, dass Ihre Website nicht gecrawlt wird, sollte es sich um eine private Website handeln, andernfalls ist die beste Option, robots.txt zu verwenden, um die Website nicht crawlen zu lassen.
Jiří Vaněk
Ich verstehe und danke Ihnen für die Antwort. Ich dachte, ich könnte es lösen, indem ich den Bereich blockiere, aber Sie haben Recht, dass der Bot von einer anderen IP oder einem neuen Bereich kommen könnte. Ich werde versuchen, mich auf die robots.txt-Datei zu verlassen und hoffe, dass alles gut geht.
mohadese esmaeeli
Ist das vorherrschende Glauben richtig, dass eine große Anzahl von indexierten Seiten innerhalb einer Website keinen Einfluss auf die Indexierung der restlichen Seiten hat?
WPBeginner-Support
Nur weil Sie Seiten auf Ihrer Website indiziert haben, heißt das nicht, dass Sie nicht andere Seiten vor Crawlern verstecken können, um eine Indexierung zu verhindern.
Administrator
Moinuddin Waheed
Ich habe mehrmals darüber nachgedacht, während ich mich im Einstellungsbereich des WordPress-Dashboards befand, warum jemand Google davon abhalten möchte, die Seite oder den Beitrag sichtbar zu machen. Heute, nachdem ich diesen Beitrag gelesen habe, habe ich erfahren, warum jemand die Suchmaschinenindizierung abraten würde.
Es ist tatsächlich sehr einfach. Wir müssen im Einstellungsbereich im Abschnitt "Lesen" das Kontrollkästchen aktivieren, das besagt, dass Suchmaschinen von der Sichtbarkeit abgeraten werden sollen.
Danke, dass Sie meinen lang gehegten Zweifel ausgeräumt haben.
WPBeginner-Support
Schön, dass wir teilen sollten, warum jemand die Checkbox
verwenden würde
Administrator
Charlotte
Das war genau das, wonach ich gesucht habe. Nachdem ich meine Entwicklungsseite auf die Live-Seite des Kunden verschoben hatte, wollte ich keinen Traffic mehr auf die alte Seite zurückbekommen. Danke!
WPBeginner-Support
Wir freuen uns, dass unser Leitfaden hilfreich war
Administrator
Ryan
Ich habe meine Website dauerhaft von WordPress gelöscht und wenn ich meinen Namen bei Google eingebe, erscheint immer noch die alte WordPress-Website, obwohl sie weg ist. Kann mir jemand vom Support-Team helfen, sie zu löschen? Ich möchte nicht, dass meine Kunden mit meiner tatsächlichen, Live-Website verwirrt werden.
WPBeginner-Support
Für Ihre alte Website in den Google-Suchergebnissen, wenn Sie die Website als Google crawlen, kann dies helfen, den Cache von Google zu aktualisieren. Für weitere Möglichkeiten, die Website vollständig zu entfernen, sollten Sie sich unseren Beitrag hier ansehen: https://014.leahstevensyj.workers.dev/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Administrator
Divyanshu
Wenn wir die Indizierung der WordPress-Website deaktivieren, um sie vor Hackern zu schützen, wirkt sich das dann auf die Google-Indizierung aus oder nicht, und wenn ja, wie kann ich Google erlauben, meine Seiten zu indizieren?
Andy
Scheint nicht zu funktionieren. Habe die Anweisungen mit Zuversicht befolgt. Meine Subdomain ist immer noch öffentlich sichtbar.
WPBeginner-Support
Hallo Andy,
Wenn Sie Ihr Unterverzeichnis mit einem Passwort geschützt haben, überprüfen Sie bitte erneut dessen Einstellungen in cPanel. Wenn alles in Ordnung zu sein scheint, sollten Sie sich möglicherweise an Ihren WordPress-Hosting-Anbieter wenden.
Administrator
Jay
Ja, was unter „Suchmaschinen davon abhalten, die Website zu indexieren“ steht, ist sehr wahr. Google scheint dies nicht zu honorieren
chinju
Hallo, ich habe einen Zweifel, ob eine Website mit 1 Million Unterseiten von der Suchmaschine blockiert wird, wenn wir
User-agent: *
Disallow: /
in die robots-Datei einfügen?
Shekhar Sardar
Ja. Das Hinzufügen von Disallow:/ in robot.txt weist alle Suchmaschinen-Bots an, diese Website oder Webseite nicht zu durchsuchen.
anand
Ich möchte, dass Mitgliedschaftsseiten und Profilseiten von keinen Suchmaschinen indexiert werden, wie mache ich das ????
Kenneth
Ich habe das versucht, aber es hat meine .htccess-Datei für meine WordPress-Installation durcheinander gebracht.
Gehen Sie also mit Vorsicht vor.
Joojo
Hallo,
Ich habe derzeit einen Wordpress.com Blog (kostenloser Plan) & möchte meine digitalen Sachen online verkaufen, ohne eine Website einzurichten und mich zunächst vollständig auf den Blog zu verlassen (mir fehlten die Mittel). Daher habe ich bei der Umsetzung dieses Gedankens Änderungen an meinem Blog vorgenommen. Nach der Zahlung wird der Kunde auf meine Blog-Seite weitergeleitet, die einen Link zum Herunterladen der digitalen Inhalte enthält. Ich möchte also nur, dass das Zahlungs-Gateway den Traffic auf die Download-Seite meines Blogs umleiten kann und diese nicht über Suchmaschinen durchsuchbar ist, etc. & auch nicht in der Wordpress.com Posts/Pages-Liste aufgeführt wird, etc., denn wenn die Download-Seite von Suchmaschinen durchsuchbar ist & in den Beiträgen meines Blogs aufgeführt wird, verdiene ich nichts, da der Kunde dann die Inhalte direkt herunterladen würde, ohne zu bezahlen.
Mit freundlichen Grüßen,
Joojo.
Jennifer
Ich lerne gerade WP und gestalte meine Website. Vorerst möchte ich nicht, dass die Website gecrawlt wird, also habe ich das Kontrollkästchen „Suchmaschinen-Sichtbarkeit“ aktiviert und den Passwortschutz hinzugefügt. In ein paar Monaten möchte ich jedoch, dass die Website live geht und ich Besucher auf meiner Website haben möchte. Wenn ich das Kontrollkästchen „Suchmaschinen-Sichtbarkeit“ deaktiviere und den Passwortschutz entferne, wird dann der robots nofollow Header automatisch aktualisiert? Oder muss ich dies manuell im Header-Bereich aktualisieren?
WPBeginner-Support
Ja, das wird es. Um ganz sicher zu gehen, müssen Sie jedoch die XML-Sitemap Ihrer Website über die Google Webmaster Tools einreichen. So können Sie sehen, ob Crawling-Fehler auf Ihrer Website gefunden werden.
Administrator
Ryan
Ist es möglich, nur bestimmte Seiten auf Ihrer Website zu blockieren, anstatt die gesamte Website zu blockieren?
Chad
WordPress bietet eine Option zum Passwortschutz für alle Ihre Seiten und Beiträge. Ändern Sie einfach die "Sichtbarkeit" in Ihrer Seiten- oder Beitragsbearbeitung auf "passwortgeschützt".
WPBeginner-Mitarbeiter
Bitte schauen Sie sich diesen Thread an.
Patrick
Wie kann ich Google und Bing dazu bringen, meine Website zu crawlen, während ich SeMalt davon abhalte, meine Website zu crawlen. SeMalt leitet Traffic auf meine Website, wodurch es so aussieht, als hätte ich mehr Aufrufe, aber diese Klicks verlassen meine Website sofort und erhöhen dadurch die Absprungrate auf meiner WordPress-Website.
Jede Hilfe in dieser Angelegenheit wäre großartig.
Patrick
Pawan Reddy
Danke für diesen Tipp. Ich wusste nicht, dass das möglich ist