Twoja witryna WordPress już ma plik robots.txt i podejmuje decyzje dotyczące tego, do czego roboty wyszukiwarek mogą uzyskać dostęp, niezależnie od tego, czy kiedykolwiek go edytowałeś, czy nie.
Większość tych decyzji jest niegroźna. Ale jedna źle wybrana reguła może również zniechęcić roboty od adresów URL, które faktycznie chcesz, aby odkryły.
W tym przewodniku pokażemy Ci, co robi Twój plik robots.txt i jak go edytować bez dotykania kodu.
Oto wszystko, co omówimy w tym przewodniku:
Czym jest plik robots.txt?
Robots.txt to zwykły plik tekstowy, który informuje boty wyszukiwarek, które części Twojej witryny mogą indeksować.
Plik znajduje się w katalogu głównym (głównym folderze) Twojej witryny. Podstawowy format wygląda tak:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Możesz dodać tyle reguł i map witryn, ile potrzebujesz. Jeśli nie zablokujesz adresu URL, boty zakładają, że mogą go indeksować.
Twoja witryna działa dobrze bez pliku robots.txt, gdy dopiero zaczynasz bloga. Jednak w miarę rozwoju treści plik ten staje się bardziej przydatny.
Wyszukiwarki przydzielają każdej witrynie budżet indeksowania, który określa liczbę stron, które będą indeksować w danym okresie. Blokując nieistotne strony, pomagasz botom wykorzystać ten budżet na treści, które chcesz widzieć w wynikach wyszukiwania.
Ma to największe znaczenie dla dużych witryn z tysiącami stron.
Pamiętaj, że robots.txt pomaga kontrolować indeksowanie, a nie jego wyświetlanie.
- Indeksowanie to proces, w którym boty wyszukiwarek (takie jak Googlebot) odwiedzają Twoją witrynę, aby odkryć jej zawartość.
- Wyświetlanie to proces dodawania tej zawartości do ich ogromnej bazy danych wyszukiwania, aby mogła pojawić się w wynikach wyszukiwania.
Pomyśl o tym jak o bibliotekarzu czytającym nową książkę (indeksowanie) i dodającym ją do katalogu biblioteki (wyświetlanie).
Innymi słowy, robots.txt nie jest dobrym sposobem na ukrycie treści, ponieważ zablokowana strona może nadal pojawiać się w wynikach wyszukiwania, jeśli inne witryny do niej linkują. Aby niezawodnie usunąć stronę z Google, użyj zamiast tego tagu meta „noindex”. Informuje on wyszukiwarki, aby w ogóle nie umieszczały tej strony.
Przykłady i najlepsze praktyki dotyczące robots.txt
W przypadku większości witryn WordPress możesz zachować prosty plik robots.txt. Oto podstawowa konfiguracja, którą polecamy:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Oto co robi każda reguła:
Allow: /wp-content/uploads/pozwala wyszukiwarkom indeksować obrazy i inne pliki przesłane do biblioteki multimediów WordPress.Allow: /wp-admin/admin-ajax.phpzapewnia dostęp do obsługi AJAX w WordPress. Motywy i wtyczki mogą używać tego pliku do ładowania lub aktualizowania treści bez odświeżania strony.Disallow: /wp-admin/uniemożliwia botom dostęp do obszaru administracyjnego WordPress, który nie zawiera treści, które chcesz wyświetlać w wynikach wyszukiwania.Disallow: /readme.htmluniemożliwia botom dostęp do domyślnego plikureadme.htmlWordPress. Ten plik nie jest przydatny dla wyszukiwarek, więc nie ma powodu, dla którego miałyby go indeksować.Disallow: /refer/uniemożliwia botom śledzenie linków partnerskich lub innych linków przekierowujących, które używają prefiksu/refer/. Jeśli Twoja witryna używa innego prefiksu dla tych linków, zastąp/refer/własnym.Disallow: /?s=uniemożliwia botom wysyłanie zapytań do wewnętrznych adresów URL wyszukiwania WordPress. Te strony zazwyczaj nie są przydatnymi stronami docelowymi dla wyszukiwarek i mogą tworzyć wiele niepotrzebnych adresów URL do indeksowania.Sitemapinformuje wyszukiwarki, gdzie znaleźć Twoje mapy witryn XML. Ułatwia im to odkrywanie adresów URL, które chcesz, aby zaindeksowały.
Są to te same podstawowe typy reguł, których używamy na WPBeginner. Możesz zobaczyć nasz plik na żywo pod adresem wpbeginner.com/robots.txt. Nasz plik produkcyjny zawiera dodatkowe reguły dla znacznie większej witryny, ale podstawowe zasady są takie same.
Pamiętaj, że użycie symbolu wieloznacznego* dotyczy wszystkich robotów.
Na przykład ta reguła blokuje Googlebotowi indeksowanie folderu /private/:
User-agent: Googlebot
Disallow: /private/
Typowe nazwy agentów użytkownika obejmują Googlebot (Google), Bingbot (Bing) i Baiduspider (Baidu).
Jak utworzyć plik Robots.txt w WordPress
Istnieją dwa sposoby utworzenia pliku robots.txt w WordPress. Możesz wybrać metodę, która najlepiej Ci odpowiada.
Metoda 1: Edycja pliku Robots.txt za pomocą All in One SEO
Większość darmowych wtyczek SEO WordPress, takich jak All in One SEO (AIOSEO), Yoast czy Rank Math, pozwala dostosować plik robots.txt bezpośrednio z panelu administracyjnego WordPress.
Używamy AIOSEO na WPBeginner. Darmowa wersja AIOSEO pomaga walidować regułę robots.txt podczas pisania, co pozwala wyłapać błędy składniowe, zanim trafią one na żywo.
Po aktywacji wtyczki przejdź do All in One SEO » Narzędzia w panelu administracyjnym WordPress. Zostaniesz przekierowany do Edytora Robots.txt. Włącz przełącznik „Włącz niestandardowy Robots.txt”, aby rozpocząć edycję.
Edytor pokazuje domyślne reguły, które WordPress generuje samodzielnie.
Teraz możesz dodać własne reguły. Wpisz agenta użytkownika w polu „Agent użytkownika” lub użyj *, aby zastosować regułę do wszystkich botów.
Następnie wybierz „Zezwól” lub „Zabroń” w kolumnie Dyrektywa i wpisz ścieżkę do pliku lub folderu w polu „Wartość”. Aby dodać kolejną regułę, kliknij przycisk „Dodaj regułę”.
Możesz sprawdzić swój finalny plik w sekcji „Podgląd niestandardowego Robots.txt” na dole ekranu. Pokazuje on cały plik dokładnie tak, jak zobaczą go boty.
Po zakończeniu kliknij przycisk „Zapisz zmiany”, aby zapisać swoje reguły.
Metoda 2: Ręczna edycja pliku Robots.txt za pomocą FTP
Jeśli wolisz edytować plik robots.txt bezpośrednio, postępuj zgodnie z tą metodą. Aby edytować plik, będziesz musiał użyć klienta FTP lub menedżera plików w panelu hostingowym WordPress.
Zanim cokolwiek edytujesz, pobierz kopię zapasową bieżącego pliku robots.txt na swój komputer. W ten sposób możesz go przywrócić, jeśli coś pójdzie nie tak.
Najpierw połącz swojego klienta FTP z witryną WordPress i znajdź plik robots.txt w głównym folderze witryny.
Jeśli go nie widzisz, Twoja witryna jeszcze nie ma pliku robots.txt. Możesz go tam utworzyć.
Robots.txt to zwykły plik tekstowy. Możesz go pobrać, edytować w dowolnym edytorze tekstu, takim jak Notatnik czy TextEdit, i przesłać z powrotem do głównego folderu.
Jak przetestować plik Robots.txt
Po utworzeniu lub edycji pliku robots.txt zawsze sprawdzaj go pod kątem błędów. Małe literówka może zablokować ważne strony przed wyszukiwarkami i możesz tego nie zauważyć przez tygodnie.
Najprostszym sposobem na przetestowanie pliku robots.txt pod kątem błędów jest Google Search Console.
Po pierwsze, upewnij się, że Twoja witryna jest połączona z Google Search Console. Jeśli nie jest, postępuj zgodnie z naszym przewodnikiem, jak dodać swoją witrynę WordPress do Google Search Console.
Następnie przejdź do panelu Search Console i otwórz Ustawienia z menu w lewym dolnym rogu. Znajdź sekcję „Crawling” i kliknij „Otwórz raport” obok „robots.txt”.
Kliknij bieżącą wersję pliku na liście. Raport pokazuje najnowszy plik robots.txt znaleziony przez Google i podświetla wszelkie błędy składni lub problemy logiczne, które wykrył.
Jeśli właśnie zaktualizowałeś swój plik, a zmiany nie pojawiają się, poczekaj dzień i sprawdź ponownie.
Często zadawane pytania dotyczące robots.txt w WordPress
Oto najczęstsze pytania, które czytelnicy nam zadają na temat optymalizacji pliku robots.txt w WordPress.
1. Czy używanie robots.txt może poprawić bezpieczeństwo mojej witryny?
Nie, robots.txt nie jest środkiem bezpieczeństwa. Plik jest publicznie dostępny, więc w rzeczywistości nie blokuje nikogo przed dostępem do wymienionych adresów URL. Po prostu zawiera dyrektywy dla dobrze zachowujących się robotów wyszukiwarek.
2. Czy powinienem blokować strony kategorii i tagów WordPress w robots.txt?
Nie, nie powinieneś blokować stron kategorii i tagów. Te strony archiwum zawierają linki wewnętrzne, za którymi podążają roboty, aby dotrzeć do Twoich starszych wpisów, więc ich blokowanie usuwa ścieżkę odkrywania treści, które chcesz zaindeksować.
3. Jaka jest różnica między robots.txt a tagiem noindex?
Kontrolują różne rzeczy. Robots.txt kontroluje, czy robot może w ogóle odwiedzić adres URL. Tag noindex kontroluje, czy wyszukiwarki wyświetlają stronę w wynikach wyszukiwania, nawet jeśli już ją odwiedziły.
Użyj robots.txt, aby zablokować roboty przed dostępem do obszarów takich jak panel administracyjny, środowisko stagingowe lub katalogi wtyczek. Użyj noindex dla stron, które chcesz, aby Google indeksował, takie jak strony z filtrowanymi archiwami lub strony podziękowania, których po prostu nie chcesz wyświetlać w wynikach wyszukiwania.
Mamy nadzieję, że ten artykuł pomógł Ci dowiedzieć się, jak zoptymalizować plik robots.txt WordPress pod kątem SEO. Możesz również zapoznać się z naszym ostatecznym przewodnikiem po SEO dla WordPress oraz naszymi ekskluzywnymi wyborami najlepszych narzędzi SEO dla WordPress do rozwoju Twojej witryny.
Jeśli podobał Ci się ten artykuł, zasubskrybuj nasz kanał YouTube po samouczki wideo WordPress. Możesz nas również znaleźć na Twitterze i Facebooku.
Steve
Dzięki za to – jak to działa na WP Multisite?
Wsparcie WPBeginner
W przypadku multisite, musiałbyś mieć plik robots.txt w głównym folderze każdej witryny.
Administrator
Pacifique Ndanyuzwe
Moja strona wordpress jest nowa, a mój plik robot.txt domyślnie wygląda tak:
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Chcę, aby Google indeksował moje treści. Czy ten robots.txt jest w porządku?
Wsparcie WPBeginner
Możesz oczywiście tego użyć, jeśli chcesz
Administrator
Ritesh Seth
Świetny artykuł…
Od wielu dni miałem wątpliwości co do pliku Robots.txt i linków Disallow. Skopiowałem tagi dla pliku robots. Mam nadzieję, że to rozwiąże problem mojej witryny
Wsparcie WPBeginner
Mamy nadzieję, że nasz artykuł również pomoże
Administrator
Kurt
Pliki na zrzutach ekranu mojego folderu głównego znajdują się faktycznie w folderze public_html w moim folderze głównym.
Nie miałem folderu /refer pod moim folderem public_html.
Nie miałem plików xml postów ani stron nigdzie na moim koncie WP.
Uwzględniłem wpis w pliku robots.txt, który utworzyłem, aby zablokować indeksowanie mojej strony-piaskownicy. Nie jestem pewien, czy jest to konieczne, ponieważ już wybrałem opcję w WP, która mówi robotom, aby nie indeksowały mojej strony-piaskownicy, ale myślę, że dodanie tego wpisu nie zaszkodzi.
Wsparcie WPBeginner
Niektórzy hosterzy zmieniają nazwę public_html na home, dlatego widzisz ją tam. Chcesz upewnić się, że Yoast jest aktywny, aby pliki XML były dostępne. Metoda opisana w tym artykule jest dodatkowym środkiem ostrożności, który pomaga zapobiegać indeksowaniu Twojej witryny
Administrator
Ahmed
Świetny artykuł
Wsparcie WPBeginner
Dziękuję
Administrator
ASHOK KUMAR JADON
Cześć, taki miły artykuł, rozwiązałeś mój problem. Dziękuję bardzo
Wsparcie WPBeginner
Cieszymy się, że nasz artykuł mógł pomóc
Administrator
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– To jest mój kod robot.txt, ale nie rozumiem, dlaczego mój /wp-admin jest indeksowany? Jak go nie indeksować?
Wsparcie WPBeginner
Jeśli zostało wcześniej zaindeksowane, może być konieczne odczekanie, aż pamięć podręczna wyszukiwarki zostanie wyczyszczona
Administrator
Ashish kumar
Ta strona naprawdę inspiruje mnie do założenia bloga. Dziękuję za wiele tematów. Każdy artykuł na tej stronie jest bogaty w informacje i wyjaśnienia. Kiedy mam jakiś problem, najpierw odwiedzam ten blog. Dziękuję
Wsparcie WPBeginner
Cieszę się, że nasze artykuły mogą być pomocne
Administrator
Anna
Próbuję zoptymalizować roboty dla mojej strony internetowej za pomocą Yoast. Jednak Narzędzia w Yoast nie mają opcji „Edytor plików”.
Są tylko dwie opcje
(i) Import i eksport
(ii) Edytor masowy
Czy możesz doradzić, jak można to rozwiązać. Czy to możliwe, że korzystam z darmowej wersji Yoast?
Wsparcie WPBeginner
Darmowa wersja Yoast nadal ma tę opcję, Twoja instalacja może blokować edycję plików, w takim przypadku prawdopodobnie będziesz musiał użyć metody FTP.
Administrator
Emmanuel Husseni
Naprawdę uważam ten artykuł za pomocny, ponieważ naprawdę niewiele wiem o tym, jak działa robot.txt, ale teraz wiem.
Proszę, czego nie rozumiem, to jak znaleźć najlepszy format robot.txt do użycia na mojej stronie (mam na myśli taki, który działa ogólnie)?
Zauważyłem, że wiele dużych blogów, które sprawdzam, zajmuje wysokie pozycje w wyszukiwarkach i używa innego formatu robot.txt..
Chętnie zobaczę odpowiedź od Ciebie lub kogokolwiek, kto może pomóc.
Personel redakcyjny
Posiadanie mapy witryny i zezwolenie na obszary, które wymagają zezwolenia, jest najważniejszą częścią. Część z odmową będzie się różnić w zależności od każdej witryny. Udostępniliśmy przykład w naszym poście na blogu, i to powinno wystarczyć dla większości witryn WordPress.
Administrator
Wsparcie WPBeginner
Cześć Emmanuel,
Proszę zapoznać się z sekcją dotyczącą idealnego pliku robots.txt. Zależy to od Twoich własnych wymagań. Większość blogerów wyklucza foldery administracyjne WordPress i foldery wtyczek z indeksowania.
Administrator
Emmanuel Husseni
Dziękuję bardzo.
teraz rozumiem. Chyba zacznę od ogólnego formatu na razie.
jack
Dobrze napisany artykuł, polecam użytkownikom utworzenie mapy witryny przed utworzeniem i włączeniem ich tekstu ROBOTS, pomoże to Twojej witrynie szybciej się indeksować i łatwiej ją przeszukiwać.
Jack
Connie S Owens
Chciałbym uniemożliwić wyszukiwarkom indeksowanie moich archiwów podczas ich indeksowania.
Emmanuel Nonye
Wielkie dzięki, ten artykuł był naprawdę pomocny
Cherisa
Ciągle otrzymuję poniższy komunikat o błędzie w Google Webmaster. Jestem w zasadzie zablokowany. Kilka rzeczy, które nie były dla mnie jasne w tym poradniku, to: gdzie znaleźć pliki główne mojej witryny, jak sprawdzić, czy mam już „robots.txt” i jak go edytować?
Wsparcie WPBeginner
Cześć Cherisa,
Folder główny Twojej witryny to ten, który zawiera foldery takie jak wp-admin, wp-includes, wp-content itp. Zawiera również pliki takie jak wp-config.php, wp-cron.php, wp-blogheader.php itp.
Jeśli nie widzisz pliku robots.txt w tym folderze, to go nie masz. Możesz śmiało utworzyć nowy.
Administrator
Cherisa
Dziękuję za odpowiedź. Szukałem wszędzie i nie mogę znaleźć tych głównych plików, tak jak opisujesz. Czy jest jakaś ścieżka katalogu, którą mogę podążać, prowadząca do tego folderu? Na przykład, czy jest on pod Ustawieniami itp.?
Devender
Miałem przyzwoity ruch internetowy na mojej stronie. Nagle spadł do zera w miesiącu maju. Do tej pory mam problem. Proszę, pomóż mi odzyskać moją stronę.
Haris Aslam
Witaj, dziękuję za te informacje, ale mam pytanie.
Właśnie utworzyłem pliki sitemap.xml i robots.txt, i są one dobrze indeksowane. Ale jak mogę utworzyć „Product-Sitemap.xml”?
W pliku sitemap.xml znajduje się cała lista produktów. Czy muszę utworzyć Product-sitemap.xml osobno?
i ponownie przesłać do Google lub Bing?
Czy możesz mi pomóc...
Dziękuję
Mahadi Hassan
Mam problem z ustawieniem pliku robots.txt. Tylko jeden robots.txt jest wyświetlany dla wszystkich stron internetowych. Proszę, pomóż mi wyświetlić osobny plik robots.txt dla wszystkich stron internetowych. Mam wszystkie osobne pliki robots.txt dla każdej indywidualnej strony internetowej. Ale tylko jeden plik robots.txt jest wyświetlany w przeglądarce dla wszystkich stron internetowych.
Debu Majumdar
Proszę wyjaśnij, dlaczego włączyłeś
Disallow: /refer/
w przykładzie Robots.txt dla początkujących? Nie rozumiem implikacji tej linii. Czy jest to ważne dla początkujących? Wyjaśniłeś pozostałe dwie linie z Disallow.
Dzięki.
Wsparcie WPBeginner
Cześć Debu,
Ten przykład pochodzi z pliku robots.txt WPBeginner. W WPBeginner używamy ThirstyAffiliates do zarządzania linkami partnerskimi i maskowania adresów URL. Te adresy URL zawierają „/refer/”, dlatego blokujemy je w naszym pliku robots.txt.
Administrator
Evaristo
Jak mogę umieścić wszystkie tagi/mydomain.Com w nofollow? W robots.txt, aby skoncentrować link Juice? Dzięki.
harsh kumar
cześć,, mam błąd w yoast seo dotyczący mapy strony.. gdy klikam napraw, to pojawia się ponownie.. moja strona html nie ładuje się poprawnie
Tom
Przeglądałem właśnie moje konto Google Search Console i korzystając z Narzędzi dla webmasterów Google, znalazłem następujące informacje:
Strona załadowana częściowo
Nie wszystkie zasoby strony mogły zostać załadowane. Może to wpłynąć na sposób, w jaki Google widzi i rozumie Twoją stronę. Rozwiąż problemy z dostępnością wszelkich zasobów, które mogą wpłynąć na sposób, w jaki Google rozumie Twoją stronę.
Dzieje się tak, ponieważ wszystkie arkusze stylów CSS powiązane z wtyczkami są niedozwolone przez domyślny robots.txt.
Rozumiem dobre powody, dla których nie powinienem po prostu zezwalać na to, ale jaka byłaby alternatywa, ponieważ podejrzewam, że algorytmy Google obniżają ocenę witryny za ich niewidzenie.
Suren
Cześć,
Kiedy wyszukuję moją witrynę w Google, poniżej linku pojawia się tekst: „Opis tego wyniku nie jest dostępny z powodu pliku robots.txt tej witryny”.
Jak mogę rozwiązać ten problem?
Pozdrawiam
Wsparcie WPBeginner
Cześć Suren,
Wygląda na to, że ktoś przypadkowo zmienił ustawienia prywatności Twojej witryny. Przejdź do strony Ustawienia » Czytanie i przewiń w dół do sekcji „Widoczność dla wyszukiwarek”. Upewnij się, że pole obok jest odznaczone.
Administrator
Divyesh
Cześć
Jak widziałem w narzędziu dla webmasterów, mam plik robot.txt jak poniżej:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
daj znać, czy jest OK? czy powinienem użyć czegoś innego?
John Cester
Chciałbym wiedzieć, czy dobrym pomysłem jest blokowanie (niedozwalanie) „/wp-content/plugins/” w robots.tx? Za każdym razem, gdy usuwam wtyczkę, na niektórych stronach tej wtyczki pojawia się błąd 404.
Himanshu singh
Uwielbiałem to wyjaśnienie. Jako początkujący byłem bardzo zdezorientowany plikiem robot.txt i jego zastosowaniami. Ale teraz wiem, jaki jest jego cel.
rahul
W niektórych plikach robots.txt zablokowano index.php. Czy możesz wyjaśnić dlaczego? Czy jest to dobra praktyka.
Waleed Barakat
Dzięki za podzielenie się cennymi informacjami.
Awais Ahmed
Czy możesz mi powiedzieć, dlaczego tak się dzieje w narzędziu dla webmasterów:
Sieć niedostępna: robots.txt niedostępnyNie udało nam się zaindeksować mapy witryny, ponieważ znaleźliśmy plik robots.txt w głównym katalogu Twojej witryny, ale nie udało nam się go pobrać. Upewnij się, że jest dostępny lub usuń go całkowicie.
plik robots.txt istnieje, ale nadal
Dozza
Ciekawa aktualizacja od zespołu Yoast na ten temat pod adresem
Cytat: „Stare najlepsze praktyki dotyczące pliku robots.txt blokującego dostęp do katalogu wp-includes i katalogu wtyczek nie są już ważne.”
natveimaging
Allow: /wp-content/uploads/
Czy tak nie powinno być?
Disallow: /wp-content/uploads/
Ponieważ wiesz, że Google zaindeksuje wszystkie twoje przesłane strony jako publiczne adresy URL, prawda? A potem dostaniesz błędy dotyczące samej strony. Czy czegoś tu nie rozumiem?
nativeimaging
Ogólnie rzecz biorąc, to rzeczywiste strony są indeksowane przez Google do generowania map obrazów, a NIE foldery z przesłanymi plikami. Wtedy pojawiłby się problem wszystkich mniejszych rozmiarów obrazów i innych obrazów, które służą do interfejsu użytkownika, również zostaną zaindeksowane.
To wydaje się najlepszą opcją:
Disallow: /wp-content/uploads/
Jeśli się mylę, proszę, wyjaśnij mi to, abym mógł zrozumieć Twój punkt widzenia.
Jason
Mój adres URL bloga nie jest indeksowany, czy muszę zmienić mój robots.txt? Używam tego robots.txt
iyan
jak stworzyć plik robot txt, który zezwala na indeksowanie TYLKO stron i Postów.. dzięki
Simaran Singh
Nie jestem pewien, co jest problemem, ale mój robots.txt ma dwie wersje.
Jedna pod adresem http://www.example.com/robots.txt, a druga pod adresem example.com/robots.txt
Ktokolwiek, proszę, pomóż! Dajcie mi znać, jaka może być możliwa przyczyna i jak to naprawić?
Wsparcie WPBeginner
Najprawdopodobniej Twój hosting pozwala na dostęp do Twojej witryny za pomocą zarówno adresów URL z www, jak i bez www. Spróbuj zmienić robots.txt za pomocą klienta FTP. Następnie sprawdź go z obu adresów URL. Jeśli widzisz swoje zmiany pod obiema adresami URL, oznacza to, że jest to ten sam plik.
Administrator
Simaran Singh
Dzięki za szybką odpowiedź. Już to zrobiłem, ale nie widzę żadnej zmiany. Czy jest inny sposób, aby to rozwiązać?
Martin Conde
Blog Yoast na ten temat znajdował się tuż nad Twoim w wynikach wyszukiwania, więc oczywiście sprawdziłem oba. Nieco sobie zaprzeczają. Na przykład Yoast powiedział, że blokowanie katalogów wtyczek i innych może utrudniać robotom Google indeksowanie Twojej witryny, ponieważ wtyczki mogą generować CSS lub JS. Wspomniano również (i z mojego własnego doświadczenia), że Yoast nie dodaje niczego związanego z mapą witryny do robots.txt, raczej generuje ją, abyś mógł ją dodać do swojej konsoli wyszukiwania. Oto link do jego posta, może możesz ponownie sprawdzić, ponieważ bardzo trudno jest wybrać, komu wierzyć
MM Nauman
Ponieważ nie jestem dobry w tworzeniu pliku robots.txt, czy mogę użyć Twojego pliku robots.txt, zmieniając parametry takie jak adres URL i mapa witryny mojej strony, czy to jest dobre? Czy powinienem stworzyć inny?
Mohit Chauhan
Cześć,
Dzisiaj dostałem tego maila od Google „Googlebot nie może uzyskać dostępu do plików CSS i JS”… jakie może być rozwiązanie?
Dzięki
Parmod
Pozwól, że zgadnę… Używasz usług CDN do importowania plików CSS i JS. lub Możliwe, że napisałeś złą składnię w tych plikach.
Rahul
Mam pytanie dotyczące dodawania map witryn. Jak mogę dodać mapy witryn Yahoo i Bing do pliku Robots i katalogu WordPress?
Gerbrand Petersen
Dzięki za szczegółowy opis używania pliku robots.txt. Czy ktoś wie, czy Yahoo również korzysta z tego robots.txt i czy przestrzega zasad w nim zawartych? Pytam, ponieważ mam „Disallow” dla określonej strony w moim pliku, ale otrzymuję ruch z Yahoo na tej stronie. Nic z Google, tak jak powinno być. Z góry dziękuję.
Erwin
poprawka…
„Jeśli używasz wtyczki Yoast’s WordPress SEO lub innej wtyczki do generowania mapy witryny XML, Twoja wtyczka spróbuje automatycznie dodać linie związane z mapą witryny do pliku robots.txt.”
Nieprawda. WordPress SEO nie dodaje mapy witryny do robots.txt
„Zawsze uważałem, że linkowanie do mapy witryny XML z pliku robots.txt jest trochę bez sensu. Powinieneś dodawać je ręcznie do Narzędzi Google i Bing dla Webmasterów i zwracać uwagę na ich opinie dotyczące mapy witryny XML. Z tego powodu nasza wtyczka WordPress SEO nie dodaje jej do pliku robots.txt.”
https://yoast.com/wordpress-robots-txt-example/
Bardziej zalecane jest również niedysallowanie katalogu wp-plugins (powody zobacz post Yoast)
A osobiście wolę po prostu usunąć plik readme.txt...
hyma
Zrozumiałem plik robots.txt i jego użycie. Czym jest mapa witryny i jak ją utworzyć dla mojej witryny.
Rick R. Duncan
Po przeczytaniu dokumentacji Google mam wrażenie, że dyrektywą do użycia w pliku robots.txt jest disallow, która tylko mówi botom, co mogą, a czego nie mogą indeksować. Nie mówi im, co może, a co nie może być indeksowane. Aby strona nie była indeksowana, musisz użyć meta tagu robots noindex.
Nitin
naprawdę dobry artykuł o zoptymalizowanym pod kątem SEO pliku robots.txt. Ale potrzebuję samouczka, jak przesłać plik robots.txt na serwer. Ponieważ jako początkujący wydaje się to być ogromnym problemem z przesłaniem tego pliku.
Nawiasem mówiąc, dziękuję za udostępnienie tak korzystnych informacji.
-Nitin
Parmod
Prześlij go na swój serwer/public_hmtl/(Nazwa-Twojej-witryny) … w tym folderze
Jenny
Jaki jest najlepszy sposób na dodanie kodu do HTTacess, aby zablokować wielu spamujących botów referujących ze względu na ich adres URL i adres IP, jeśli nie podano adresu URL
Wiem, że jeśli popełnisz błąd składniowy podczas edycji pliku httacess, możesz wyłączyć swoją stronę. Jestem początkujący i muszę zablokować te irytujące wielokrotne adresy URL z Rosji, Chin, Ukrainy itp.
Wielkie dzięki
Hazel Andrews
Dzięki za te wskazówki... pliki robots txt już poprawione! yay!
Rahat
dlaczego trzeba dodać Allow: !!!
jeśli wspomnę tylko, co mam Disallow, to wystarczy. Nie muszę pisać kodu dla Allow, ponieważ Googlebot lub Bingbot automatycznie zaindeksuje wszystko inne.
Więc dlaczego mam ponownie używać Allow?
Connor Rickett
Ponieważ brak pliku Robots.txt nie powstrzymuje witryny przed indeksowaniem, jestem ciekawy: czy istnieją jakieś twarde dane na temat tego, jak bardzo posiadanie tego pliku poprawi wydajność SEO?
Szybko przeszukałem Google i nie znalazłem żadnych ilościowych danych na ten temat. Jest około pół miliona artykułów mówiących: „Hej, to poprawia SEO!”, ale naprawdę chciałbym wiedzieć, o czym mówimy, nawet ogólnie.
Czy to jest 5% wzrostu? 50? 500?
Wsparcie WPBeginner
Wyszukiwarki nie udostępniają takich danych. Brak pliku robots.txt nie powstrzymuje wyszukiwarek przed indeksowaniem strony. Jest to jednak zalecana najlepsza praktyka.
Administrator
Connor Rickett
Dziękuję za poświęcony czas na odpowiedź, doceniam to!
JD Myers
Dobry czas na to. Właśnie wczoraj próbowałem znaleźć te informacje.
Powodem, dla którego go szukałem, było to, że narzędzia Google Webmaster Tools informowały mnie, że nie mogą prawidłowo indeksować mojej witryny, ponieważ blokowałem różne zasoby potrzebne do prawidłowego renderowania strony.
Zasoby te obejmowały te znalezione w /wp-content/plugins/
Po zezwoleniu na ten folder ostrzeżenie zniknęło.
Masz jakieś przemyślenia na ten temat?
Wsparcie WPBeginner
Możesz bezpiecznie zignorować te ostrzeżenia. Jest to tylko ostrzeżenie, jeśli faktycznie miałeś tam treść, którą chciałbyś zaindeksować. Czasami użytkownicy ograniczyli boty wyszukiwarek i zapomnieli o tym. Te ostrzeżenia są przydatne w takich sytuacjach.
Administrator
Chetan jadhav
Mam pytanie, wielu ludzi używa statycznych map witryn, a wiesz, że mają stronę WordPress. Czy powinniśmy używać statycznych, czy map generowanych przez WordPress.
Wilton Calderon
Fajnie, podoba mi się sposób, w jaki robi to Wpbeginner, a biorąc pod uwagę ich pozycję w Alexie, wydaje mi się, że to jeden z najlepszych sposobów na wykorzystanie robots.txt..
Brigitte Burke
co oznacza mój plik robots.txt, jeśli wygląda tak?
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
Personel redakcyjny
Mówi tylko, że wyszukiwarki nie powinny indeksować folderu wp-admin, folderu wp-includes i pliku xml-rpc. Czasami zablokowanie /wp-includes/ może zablokować niektóre skrypty dla wyszukiwarek, zwłaszcza jeśli Twoja witryna korzysta z tych skryptów. Może to zaszkodzić Twojemu SEO.
Najlepszym rozwiązaniem jest przejście do Narzędzi dla webmasterów Google i pobranie swojej witryny jako bota. Jeśli wszystko ładuje się poprawnie, nie masz się czym martwić. Jeśli mówi, że skrypty są zablokowane, możesz rozważyć usunięcie linii wp-includes.
Administrator
herkules
Nie widzę logiki w Twoim pomyśle posiadania skryptu w katalogu includes, który może być używany przez robota / bota... a po drugie, jeśli jest odosobniony przypadek, lepiej jest po określeniu domyślnego WordPressa zezwolić na ten plik, wyobrażasz sobie, że wyszukiwarki używają swoich skryptów! w końcu WordPress z pewnością nie ma domyślnie pliku robots.txt blokującego wyszukiwarki!!!!