Twoja witryna WordPress już ma plik robots.txt i podejmuje decyzje dotyczące tego, do czego roboty wyszukiwarek mogą uzyskać dostęp, niezależnie od tego, czy kiedykolwiek go edytowałeś, czy nie.
Większość tych decyzji jest niegroźna. Ale jedna źle wybrana reguła może również zniechęcić roboty od adresów URL, które faktycznie chcesz, aby odkryły.
W tym przewodniku pokażemy Ci, co robi Twój plik robots.txt i jak go edytować bez dotykania kodu.
Oto wszystko, co omówimy w tym przewodniku:
Czym jest plik robots.txt?
Robots.txt to zwykły plik tekstowy, który informuje boty wyszukiwarek, które części Twojej witryny mogą indeksować.
Plik znajduje się w katalogu głównym (głównym folderze) Twojej witryny. Podstawowy format wygląda tak:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Możesz dodać tyle reguł i map witryn, ile potrzebujesz. Jeśli nie zablokujesz adresu URL, boty zakładają, że mogą go indeksować.
Twoja witryna działa dobrze bez pliku robots.txt, gdy dopiero zaczynasz bloga. Jednak w miarę rozwoju treści plik ten staje się bardziej przydatny.
Wyszukiwarki przydzielają każdej witrynie budżet indeksowania, który określa liczbę stron, które będą indeksować w danym okresie. Blokując nieistotne strony, pomagasz botom wykorzystać ten budżet na treści, które chcesz widzieć w wynikach wyszukiwania.
Ma to największe znaczenie dla dużych witryn z tysiącami stron.
Pamiętaj, że robots.txt pomaga kontrolować indeksowanie, a nie jego wyświetlanie.
- Indeksowanie to proces, w którym boty wyszukiwarek (takie jak Googlebot) odwiedzają Twoją witrynę, aby odkryć jej zawartość.
- Wyświetlanie to proces dodawania tej zawartości do ich ogromnej bazy danych wyszukiwania, aby mogła pojawić się w wynikach wyszukiwania.
Pomyśl o tym jak o bibliotekarzu czytającym nową książkę (indeksowanie) i dodającym ją do katalogu biblioteki (wyświetlanie).
Innymi słowy, robots.txt nie jest dobrym sposobem na ukrycie treści, ponieważ zablokowana strona może nadal pojawiać się w wynikach wyszukiwania, jeśli inne witryny do niej linkują. Aby niezawodnie usunąć stronę z Google, użyj zamiast tego tagu meta „noindex”. Informuje on wyszukiwarki, aby w ogóle nie umieszczały tej strony.
Przykłady i najlepsze praktyki dotyczące robots.txt
W przypadku większości witryn WordPress możesz zachować prosty plik robots.txt. Oto podstawowa konfiguracja, którą polecamy:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Oto co robi każda reguła:
Allow: /wp-content/uploads/pozwala wyszukiwarkom indeksować obrazy i inne pliki przesłane do biblioteki multimediów WordPress.Allow: /wp-admin/admin-ajax.phpzapewnia dostęp do obsługi AJAX w WordPress. Motywy i wtyczki mogą używać tego pliku do ładowania lub aktualizowania treści bez odświeżania strony.Disallow: /wp-admin/uniemożliwia botom dostęp do obszaru administracyjnego WordPress, który nie zawiera treści, które chcesz wyświetlać w wynikach wyszukiwania.Disallow: /readme.htmluniemożliwia botom dostęp do domyślnego plikureadme.htmlWordPress. Ten plik nie jest przydatny dla wyszukiwarek, więc nie ma powodu, dla którego miałyby go indeksować.Disallow: /refer/uniemożliwia botom śledzenie linków partnerskich lub innych linków przekierowujących, które używają prefiksu/refer/. Jeśli Twoja witryna używa innego prefiksu dla tych linków, zastąp/refer/własnym.Disallow: /?s=uniemożliwia botom wysyłanie zapytań do wewnętrznych adresów URL wyszukiwania WordPress. Te strony zazwyczaj nie są przydatnymi stronami docelowymi dla wyszukiwarek i mogą tworzyć wiele niepotrzebnych adresów URL do indeksowania.Sitemapinformuje wyszukiwarki, gdzie znaleźć Twoje mapy witryn XML. Ułatwia im to odkrywanie adresów URL, które chcesz, aby zaindeksowały.
Są to te same podstawowe typy reguł, których używamy na WPBeginner. Możesz zobaczyć nasz plik na żywo pod adresem wpbeginner.com/robots.txt. Nasz plik produkcyjny zawiera dodatkowe reguły dla znacznie większej witryny, ale podstawowe zasady są takie same.
Pamiętaj, że użycie symbolu wieloznacznego* dotyczy wszystkich robotów.
Na przykład ta reguła blokuje Googlebotowi indeksowanie folderu /private/:
User-agent: Googlebot
Disallow: /private/
Typowe nazwy agentów użytkownika obejmują Googlebot (Google), Bingbot (Bing) i Baiduspider (Baidu).
Jak utworzyć plik Robots.txt w WordPress
Istnieją dwa sposoby utworzenia pliku robots.txt w WordPress. Możesz wybrać metodę, która najlepiej Ci odpowiada.
Metoda 1: Edycja pliku Robots.txt za pomocą All in One SEO
Większość darmowych wtyczek SEO WordPress, takich jak All in One SEO (AIOSEO), Yoast czy Rank Math, pozwala dostosować plik robots.txt bezpośrednio z panelu administracyjnego WordPress.
Używamy AIOSEO na WPBeginner. Darmowa wersja AIOSEO pomaga walidować regułę robots.txt podczas pisania, co pozwala wyłapać błędy składniowe, zanim trafią one na żywo.
Po aktywacji wtyczki przejdź do All in One SEO » Narzędzia w panelu administracyjnym WordPress. Zostaniesz przekierowany do Edytora Robots.txt. Włącz przełącznik „Włącz niestandardowy Robots.txt”, aby rozpocząć edycję.
Edytor pokazuje domyślne reguły, które WordPress generuje samodzielnie.
Teraz możesz dodać własne reguły. Wpisz agenta użytkownika w polu „Agent użytkownika” lub użyj *, aby zastosować regułę do wszystkich botów.
Następnie wybierz „Zezwól” lub „Zabroń” w kolumnie Dyrektywa i wpisz ścieżkę do pliku lub folderu w polu „Wartość”. Aby dodać kolejną regułę, kliknij przycisk „Dodaj regułę”.
Możesz sprawdzić swój finalny plik w sekcji „Podgląd niestandardowego Robots.txt” na dole ekranu. Pokazuje on cały plik dokładnie tak, jak zobaczą go boty.
Po zakończeniu kliknij przycisk „Zapisz zmiany”, aby zapisać swoje reguły.
Metoda 2: Ręczna edycja pliku Robots.txt za pomocą FTP
Jeśli wolisz edytować plik robots.txt bezpośrednio, postępuj zgodnie z tą metodą. Aby edytować plik, będziesz musiał użyć klienta FTP lub menedżera plików w panelu hostingowym WordPress.
Zanim cokolwiek edytujesz, pobierz kopię zapasową bieżącego pliku robots.txt na swój komputer. W ten sposób możesz go przywrócić, jeśli coś pójdzie nie tak.
Najpierw połącz swojego klienta FTP z witryną WordPress i znajdź plik robots.txt w głównym folderze witryny.
Jeśli go nie widzisz, Twoja witryna jeszcze nie ma pliku robots.txt. Możesz go tam utworzyć.
Robots.txt to zwykły plik tekstowy. Możesz go pobrać, edytować w dowolnym edytorze tekstu, takim jak Notatnik czy TextEdit, i przesłać z powrotem do głównego folderu.
Jak przetestować plik Robots.txt
Po utworzeniu lub edycji pliku robots.txt zawsze sprawdzaj go pod kątem błędów. Małe literówka może zablokować ważne strony przed wyszukiwarkami i możesz tego nie zauważyć przez tygodnie.
Najprostszym sposobem na przetestowanie pliku robots.txt pod kątem błędów jest Google Search Console.
Po pierwsze, upewnij się, że Twoja witryna jest połączona z Google Search Console. Jeśli nie jest, postępuj zgodnie z naszym przewodnikiem, jak dodać swoją witrynę WordPress do Google Search Console.
Następnie przejdź do panelu Search Console i otwórz Ustawienia z menu w lewym dolnym rogu. Znajdź sekcję „Crawling” i kliknij „Otwórz raport” obok „robots.txt”.
Kliknij bieżącą wersję pliku na liście. Raport pokazuje najnowszy plik robots.txt znaleziony przez Google i podświetla wszelkie błędy składni lub problemy logiczne, które wykrył.
Jeśli właśnie zaktualizowałeś swój plik, a zmiany nie pojawiają się, poczekaj dzień i sprawdź ponownie.
Często zadawane pytania dotyczące robots.txt w WordPress
Oto najczęstsze pytania, które czytelnicy nam zadają na temat optymalizacji pliku robots.txt w WordPress.
1. Czy używanie robots.txt może poprawić bezpieczeństwo mojej witryny?
Nie, robots.txt nie jest środkiem bezpieczeństwa. Plik jest publicznie dostępny, więc w rzeczywistości nie blokuje nikogo przed dostępem do wymienionych adresów URL. Po prostu zawiera dyrektywy dla dobrze zachowujących się robotów wyszukiwarek.
2. Czy powinienem blokować strony kategorii i tagów WordPress w robots.txt?
Nie, nie powinieneś blokować stron kategorii i tagów. Te strony archiwum zawierają linki wewnętrzne, za którymi podążają roboty, aby dotrzeć do Twoich starszych wpisów, więc ich blokowanie usuwa ścieżkę odkrywania treści, które chcesz zaindeksować.
3. Jaka jest różnica między robots.txt a tagiem noindex?
Kontrolują różne rzeczy. Robots.txt kontroluje, czy robot może w ogóle odwiedzić adres URL. Tag noindex kontroluje, czy wyszukiwarki wyświetlają stronę w wynikach wyszukiwania, nawet jeśli już ją odwiedziły.
Użyj robots.txt, aby zablokować roboty przed dostępem do obszarów takich jak panel administracyjny, środowisko stagingowe lub katalogi wtyczek. Użyj noindex dla stron, które chcesz, aby Google indeksował, takie jak strony z filtrowanymi archiwami lub strony podziękowania, których po prostu nie chcesz wyświetlać w wynikach wyszukiwania.
Mamy nadzieję, że ten artykuł pomógł Ci dowiedzieć się, jak zoptymalizować plik robots.txt WordPress pod kątem SEO. Możesz również zapoznać się z naszym ostatecznym przewodnikiem po SEO dla WordPress oraz naszymi ekskluzywnymi wyborami najlepszych narzędzi SEO dla WordPress do rozwoju Twojej witryny.
Jeśli podobał Ci się ten artykuł, zasubskrybuj nasz kanał YouTube po samouczki wideo WordPress. Możesz nas również znaleźć na Twitterze i Facebooku.
Dennis Muthomi
Muszę przyznać, że używam wtyczki AIOSEO, ale zawsze ignorowałem opcję „Włącz niestandardowy plik robots.txt”, ponieważ nie chciałem niczego zepsuć.
Ale przeczytałem ten artykuł i jestem przekonany, że warto poświęcić czas na optymalizację pliku robots.txt mojej witryny.
Amit Banerjee
Gdyby podano cały szablon robots.txt, byłoby to pomocne.
Wsparcie WPBeginner
Uwzględniliśmy cały plik robots.txt
Administrator
Michael
Myślę, że powinieneś zmodyfikować swoją odpowiedź. Powinno być https zamiast http. Czy można zablokować również pliki wtyczek?
Wsparcie WPBeginner
Dziękujemy za zwrócenie uwagi, nasza próbka została zaktualizowana. Aby zablokować wtyczki, najlepiej skontaktować się z konkretną wtyczką.
Moinuddin Waheed
Dzięki za ten informacyjny post o pliku robots.txt.
Nie wiedziałem, że strony internetowe powinny utrzymywać ten plik, aby mieć kontrolę nad botami Google, jak powinny one indeksować nasze strony i posty.
Czy dla początkujących stron internetowych, które dopiero zaczynają, istnieje potrzeba posiadania pliku robots.txt, czy istnieje sposób, na przykład wtyczka, która może stworzyć plik robots.txt dla naszej strony internetowej?
Wsparcie WPBeginner
Większość wtyczek SEO pomaga w konfiguracji robots.txt dla nowej witryny, aby zapobiec indeksowaniu przez boty sekcji, których nie powinny.
Administrator
Jiří Vaněk
Dzięki temu artykułowi sprawdziłem plik robots.txt i dodałem adresy URL z mapami witryn. Jednocześnie miałem tam inne problematyczne linie, które ujawnił walidator. Nie znałem wcześniej map witryn w robots.txt. Dziękuję.
Wsparcie WPBeginner
Proszę bardzo, cieszę się, że nasz przewodnik mógł pomóc!
Administrator
Stéphane
Cześć,
Dzięki za ten post, staje się jaśniejsze, jak używać pliku robots.txt. Na większości stron internetowych, które znajdziesz szukając porad dotyczących pliku robots.txt, możesz zobaczyć, że następujące foldery są wyraźnie wykluczone z indeksowania (dla WordPressa):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Nie do końca rozumiem powody wykluczenia tych folderów (czy faktycznie jakiś jest?). Co byś o tym sądził?
Wsparcie WPBeginner
Chodzi głównie o to, aby zapobiec pojawianiu się czegokolwiek w tych folderach jako wynik, gdy użytkownik wyszukuje Twoją witrynę. Ponieważ nie jest to Twój kontent, większość ludzi nie chciałaby, aby pojawił się w wynikach witryny.
Administrator
zaid haris
Zabroń: /wp-admin/
Zezwól: /wp-admin/admin-ajax.php
GSC pokazuje błąd pokrycia dla „Disallow: /wp-admin/”. Czy to jest błędne?
Wsparcie WPBeginner
W przypadku większości witryn nie chcesz, aby cokolwiek z Twojego wp-admin pojawiało się w wynikach wyszukiwania, więc jest to w porządku i oczekiwane, że otrzymasz obszar pokrycia, gdy odmówisz Google możliwości skanowania Twojego wp-admin.
Administrator
Hansini
Tworzę mój robots.txt ręcznie, zgodnie z Twoimi instrukcjami dla mojej strony WordPress.
Mam jedno wątpliwość. kiedy piszę User-Agent: * czy nie pozwoli to innemu robotowi spamującemu na dostęp do mojej strony?
Czy powinienem napisać User-Agent: * czy User-Agent: Googlebot.?
Wsparcie WPBeginner
Linia User-Agent ustawia reguły, których wszystkie roboty powinny przestrzegać w Twojej witrynie; jeśli określisz konkretnego bota w tej linii, ustawiałbyś reguły dla tego konkretnego bota, a nie dla żadnego innego.
Administrator
Nishant
Co powinniśmy napisać, aby Google zaindeksowało mój post?
Wsparcie WPBeginner
Aby Twoja witryna została uwzględniona w wynikach wyszukiwania, zapoznaj się z naszym poniższym artykułem:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Administrator
Sanjeev Pandey
czy powinniśmy również zablokować /wp-content/themes/ ?
Pojawia się w wynikach wyszukiwania, gdy wpisuję polecenie site:abcdef.com w wyszukiwarce Google
Wsparcie WPBeginner
Nie chciałbyś martwić się o blokowanie folderu motywów, a pisząc treści przyjazne dla SEO, nie powinieneś już widzieć motywów jako wynik wyszukiwania.
Administrator
Salem
Cześć, co oznacza „Disallow: /readme.html & Disallow: /refer/”?
Wsparcie WPBeginner
Oznacza to, że mówisz wyszukiwarkom, aby nie przeglądały żadnych linków polecających ani pliku readme.html.
Administrator
sean
Cześć, jakie są zalety i wady blokowania wp-content/uploads
Dziękuję
Wsparcie WPBeginner
Jeśli zablokujesz folder przesyłania, wyszukiwarki zazwyczaj nie będą indeksować przesłanych treści, takich jak obrazy.
Administrator
Piyush
dzięki za rozwiązanie mojego problemu
Wsparcie WPBeginner
Proszę bardzo
Administrator
Ravi kumar
Panie, jestem bardzo zdezorientowany co do robot.txt, wiele razy przesyłałem mapę witryny na Bloggera, ale po 3-4 dniach pojawia się ten sam problem, co dokładnie oznacza robot.txt.. & jak to przesłać, proszę o wskazówki
Wsparcie WPBeginner
Zależałoby to od Twojego konkretnego problemu, być może warto zapoznać się z naszą stroną poniżej:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Administrator
Prem
Jeśli nie indeksuję adresu URL lub strony za pomocą pliku robots.txt, czy Google wyświetla jakiś błąd w konsoli wyszukiwania?
Wsparcie WPBeginner
Nie, Google nie umieści strony na liście, ale jeśli strona jest na liście, nie wyświetli błędu.
Administrator
Bharat
Cześć
Mam pytanie
Otrzymałem ostrzeżenie o problemie z indeksowaniem w Google Search Console dotyczące zablokowania przez robots.txt
/wp-admin/widgets.php
Moje pytanie brzmi, czy mogę zezwolić na wp-admin/widgets.php w robots.txt i czy jest to bezpieczne?
Wsparcie WPBeginner
Jeśli chcesz, możesz, ale nie jest to plik, który Google musi indeksować.
Administrator
Anthony
Witam, zastanawiam się, czy powinniście zezwolić na: /wp-admin/admin-ajax.php?
Wsparcie WPBeginner
Zazwyczaj tak, powinieneś.
Administrator
Jaira
Czy mogę wiedzieć, dlaczego należy zezwolić na /wp-admin/admin-ajax.php?
Wsparcie WPBeginner
Jest on używany przez różne motywy i wtyczki, aby poprawnie wyświetlać się w wyszukiwarkach.
Amila
Witaj! Bardzo podoba mi się ten artykuł i ponieważ jestem początkujący we wszystkim, co dotyczy indeksowania, chciałbym o coś zapytać. Ostatnio Google zaindeksował jedną z moich stron internetowych w naprawdę okropny sposób, pokazując w wynikach wyszukiwania strony, które zostały usunięte z witryny. Początkowo witryna nie zniechęcała wyszukiwarek do indeksowania w ustawieniach WordPress, ale zrobiła to później, gdy Google pokazał jeszcze 3 dodatkowe strony w wynikach wyszukiwania (tych stron również nie ma) i naprawdę nie rozumiem, jak mogło się to zdarzyć przy włączonej opcji „zniechęcaj wyszukiwarki do indeksowania”. Czy metoda Yoast może być pomocna i rozwiązać problem mojej witryny, aby Google tym razem zaindeksował moją witrynę w odpowiedni sposób? Z góry dziękuję!
Wsparcie WPBeginner
Wtyczka Yoast powinna pomóc w zapewnieniu prawidłowego indeksowania stron, które posiadasz. Istnieje szansa, że zanim zniechęciłeś wyszukiwarki do indeksowania Twojej strony, Twoja strona została już zbuforowana.
Administrator
Amila
Cóż, tak i ze wszystkich stron, zindeksował te, które już nie istnieją. Tak czy inaczej, ponieważ bieżąca strona ma ustawienie „zniechęcaj”, czy lepiej zostawić ją tak na razie, czy odznaczyć pole i pozwolić Google ponownie ją przeszukać i zaindeksować z pomocą Yoast? Dzięki! Z Twoimi artykułami wszystko stało się łatwiejsze!
Wsparcie WPBeginner
Będziesz chciał, aby Google ponownie przeskanowało Twoją witrynę, gdy zostanie ona skonfigurowana zgodnie z Twoimi oczekiwaniami.
Pradhuman Kumar
Cześć, uwielbiałem artykuł, bardzo precyzyjny i doskonały.
Tylko mała sugestia, proszę zaktualizuj obrazek testera ROBOTS.txt, ponieważ Konsola Google została zmieniona i byłoby wspaniale, gdybyś dodał link do sprawdzenia robots.txt z Google.
Wsparcie WPBeginner
Dziękujemy za opinię, z pewnością zajmiemy się aktualizacją artykułu, gdy tylko będzie to możliwe.
Administrator
Kamaljeet Singh
Plik robots.txt mojego bloga wyglądał tak:
User-Agent: *
crawl-delay: 10
Po przeczytaniu tego posta zmieniłem go na zalecany plik robots.txt. Czy mogę usunąć crawl-delay?
Wsparcie WPBeginner
Powinno być w porządku, crawl-delay mówi wyszukiwarkom, aby spowolniły szybkość indeksowania Twojej witryny.
Administrator
Reena
Bardzo ładnie opisane o robot.text, jestem bardzo zadowolony
jesteś bardzo dobrym pisarzem
Wsparcie WPBeginner
Dziękujemy, cieszymy się, że spodobał Ci się nasz artykuł
Administrator
JJ
Co to jest strona Disallow: /refer/ ? Otrzymuję 404, czy to ukryty plik wp?
Personel redakcyjny
Używamy /refer/ do przekierowania do różnych linków partnerskich na naszej stronie internetowej. Nie chcemy, aby były one indeksowane, ponieważ są to tylko przekierowania, a nie faktyczna treść.
Administrator
Sagar Arakh
Dziękuję za udostępnienie. To było naprawdę pomocne w zrozumieniu robots.txt
Zaktualizowałem mój robots.txt do idealnego, który zasugerowałeś. Teraz poczekam na wyniki.
Wsparcie WPBeginner
Proszę bardzo, cieszę się, że chcesz skorzystać z naszych rekomendacji
Administrator
Akash Gogoi
Bardzo pomocny artykuł. Dziękuję bardzo.
Wsparcie WPBeginner
Cieszymy się, że nasz artykuł był pomocny
Administrator
Zingylancer
Dziękuję za udostępnienie tych przydatnych informacji o nas.
Wsparcie WPBeginner
Cieszymy się, że mogliśmy podzielić się tymi informacjami na temat pliku robots.txt
Administrator
Jasper
dziękuję za aktualne informacje. Twój artykuł był dobry dla pliku Robot txt. Zawierał nowe informacje. dziękuję i informuj mnie o nowych pomysłach.
Wsparcie WPBeginner
Cieszymy się, że nasz przewodnik był pomocny
Administrator
Imran
Dzięki, dodałem robots.txt w WordPressie. Bardzo dobry artykuł
Wsparcie WPBeginner
Dziękuję, cieszę się, że nasz artykuł był pomocny
Administrator