Twoja witryna WordPress już ma plik robots.txt i podejmuje decyzje dotyczące tego, do czego roboty wyszukiwarek mogą uzyskać dostęp, niezależnie od tego, czy kiedykolwiek go edytowałeś, czy nie.
Większość tych decyzji jest niegroźna. Ale jedna źle wybrana reguła może również zniechęcić roboty od adresów URL, które faktycznie chcesz, aby odkryły.
W tym przewodniku pokażemy Ci, co robi Twój plik robots.txt i jak go edytować bez dotykania kodu.
Oto wszystko, co omówimy w tym przewodniku:
Czym jest plik robots.txt?
Robots.txt to zwykły plik tekstowy, który informuje boty wyszukiwarek, które części Twojej witryny mogą indeksować.
Plik znajduje się w katalogu głównym (głównym folderze) Twojej witryny. Podstawowy format wygląda tak:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Możesz dodać tyle reguł i map witryn, ile potrzebujesz. Jeśli nie zablokujesz adresu URL, boty zakładają, że mogą go indeksować.
Twoja witryna działa dobrze bez pliku robots.txt, gdy dopiero zaczynasz bloga. Jednak w miarę rozwoju treści plik ten staje się bardziej przydatny.
Wyszukiwarki przydzielają każdej witrynie budżet indeksowania, który określa liczbę stron, które będą indeksować w danym okresie. Blokując nieistotne strony, pomagasz botom wykorzystać ten budżet na treści, które chcesz widzieć w wynikach wyszukiwania.
Ma to największe znaczenie dla dużych witryn z tysiącami stron.
Pamiętaj, że robots.txt pomaga kontrolować indeksowanie, a nie jego wyświetlanie.
- Indeksowanie to proces, w którym boty wyszukiwarek (takie jak Googlebot) odwiedzają Twoją witrynę, aby odkryć jej zawartość.
- Wyświetlanie to proces dodawania tej zawartości do ich ogromnej bazy danych wyszukiwania, aby mogła pojawić się w wynikach wyszukiwania.
Pomyśl o tym jak o bibliotekarzu czytającym nową książkę (indeksowanie) i dodającym ją do katalogu biblioteki (wyświetlanie).
Innymi słowy, robots.txt nie jest dobrym sposobem na ukrycie treści, ponieważ zablokowana strona może nadal pojawiać się w wynikach wyszukiwania, jeśli inne witryny do niej linkują. Aby niezawodnie usunąć stronę z Google, użyj zamiast tego tagu meta „noindex”. Informuje on wyszukiwarki, aby w ogóle nie umieszczały tej strony.
Przykłady i najlepsze praktyki dotyczące robots.txt
W przypadku większości witryn WordPress możesz zachować prosty plik robots.txt. Oto podstawowa konfiguracja, którą polecamy:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Oto co robi każda reguła:
Allow: /wp-content/uploads/pozwala wyszukiwarkom indeksować obrazy i inne pliki przesłane do biblioteki multimediów WordPress.Allow: /wp-admin/admin-ajax.phpzapewnia dostęp do obsługi AJAX w WordPress. Motywy i wtyczki mogą używać tego pliku do ładowania lub aktualizowania treści bez odświeżania strony.Disallow: /wp-admin/uniemożliwia botom dostęp do obszaru administracyjnego WordPress, który nie zawiera treści, które chcesz wyświetlać w wynikach wyszukiwania.Disallow: /readme.htmluniemożliwia botom dostęp do domyślnego plikureadme.htmlWordPress. Ten plik nie jest przydatny dla wyszukiwarek, więc nie ma powodu, dla którego miałyby go indeksować.Disallow: /refer/uniemożliwia botom śledzenie linków partnerskich lub innych linków przekierowujących, które używają prefiksu/refer/. Jeśli Twoja witryna używa innego prefiksu dla tych linków, zastąp/refer/własnym.Disallow: /?s=uniemożliwia botom wysyłanie zapytań do wewnętrznych adresów URL wyszukiwania WordPress. Te strony zazwyczaj nie są przydatnymi stronami docelowymi dla wyszukiwarek i mogą tworzyć wiele niepotrzebnych adresów URL do indeksowania.Sitemapinformuje wyszukiwarki, gdzie znaleźć Twoje mapy witryn XML. Ułatwia im to odkrywanie adresów URL, które chcesz, aby zaindeksowały.
Są to te same podstawowe typy reguł, których używamy na WPBeginner. Możesz zobaczyć nasz plik na żywo pod adresem wpbeginner.com/robots.txt. Nasz plik produkcyjny zawiera dodatkowe reguły dla znacznie większej witryny, ale podstawowe zasady są takie same.
Pamiętaj, że użycie symbolu wieloznacznego* dotyczy wszystkich robotów.
Na przykład ta reguła blokuje Googlebotowi indeksowanie folderu /private/:
User-agent: Googlebot
Disallow: /private/
Typowe nazwy agentów użytkownika obejmują Googlebot (Google), Bingbot (Bing) i Baiduspider (Baidu).
Jak utworzyć plik Robots.txt w WordPress
Istnieją dwa sposoby utworzenia pliku robots.txt w WordPress. Możesz wybrać metodę, która najlepiej Ci odpowiada.
Metoda 1: Edycja pliku Robots.txt za pomocą All in One SEO
Większość darmowych wtyczek SEO WordPress, takich jak All in One SEO (AIOSEO), Yoast czy Rank Math, pozwala dostosować plik robots.txt bezpośrednio z panelu administracyjnego WordPress.
Używamy AIOSEO na WPBeginner. Darmowa wersja AIOSEO pomaga walidować regułę robots.txt podczas pisania, co pozwala wyłapać błędy składniowe, zanim trafią one na żywo.
Po aktywacji wtyczki przejdź do All in One SEO » Narzędzia w panelu administracyjnym WordPress. Zostaniesz przekierowany do Edytora Robots.txt. Włącz przełącznik „Włącz niestandardowy Robots.txt”, aby rozpocząć edycję.
Edytor pokazuje domyślne reguły, które WordPress generuje samodzielnie.
Teraz możesz dodać własne reguły. Wpisz agenta użytkownika w polu „Agent użytkownika” lub użyj *, aby zastosować regułę do wszystkich botów.
Następnie wybierz „Zezwól” lub „Zabroń” w kolumnie Dyrektywa i wpisz ścieżkę do pliku lub folderu w polu „Wartość”. Aby dodać kolejną regułę, kliknij przycisk „Dodaj regułę”.
Możesz sprawdzić swój finalny plik w sekcji „Podgląd niestandardowego Robots.txt” na dole ekranu. Pokazuje on cały plik dokładnie tak, jak zobaczą go boty.
Po zakończeniu kliknij przycisk „Zapisz zmiany”, aby zapisać swoje reguły.
Metoda 2: Ręczna edycja pliku Robots.txt za pomocą FTP
Jeśli wolisz edytować plik robots.txt bezpośrednio, postępuj zgodnie z tą metodą. Aby edytować plik, będziesz musiał użyć klienta FTP lub menedżera plików w panelu hostingowym WordPress.
Zanim cokolwiek edytujesz, pobierz kopię zapasową bieżącego pliku robots.txt na swój komputer. W ten sposób możesz go przywrócić, jeśli coś pójdzie nie tak.
Najpierw połącz swojego klienta FTP z witryną WordPress i znajdź plik robots.txt w głównym folderze witryny.
Jeśli go nie widzisz, Twoja witryna jeszcze nie ma pliku robots.txt. Możesz go tam utworzyć.
Robots.txt to zwykły plik tekstowy. Możesz go pobrać, edytować w dowolnym edytorze tekstu, takim jak Notatnik czy TextEdit, i przesłać z powrotem do głównego folderu.
Jak przetestować plik Robots.txt
Po utworzeniu lub edycji pliku robots.txt zawsze sprawdzaj go pod kątem błędów. Małe literówka może zablokować ważne strony przed wyszukiwarkami i możesz tego nie zauważyć przez tygodnie.
Najprostszym sposobem na przetestowanie pliku robots.txt pod kątem błędów jest Google Search Console.
Po pierwsze, upewnij się, że Twoja witryna jest połączona z Google Search Console. Jeśli nie jest, postępuj zgodnie z naszym przewodnikiem, jak dodać swoją witrynę WordPress do Google Search Console.
Następnie przejdź do panelu Search Console i otwórz Ustawienia z menu w lewym dolnym rogu. Znajdź sekcję „Crawling” i kliknij „Otwórz raport” obok „robots.txt”.
Kliknij bieżącą wersję pliku na liście. Raport pokazuje najnowszy plik robots.txt znaleziony przez Google i podświetla wszelkie błędy składni lub problemy logiczne, które wykrył.
Jeśli właśnie zaktualizowałeś swój plik, a zmiany nie pojawiają się, poczekaj dzień i sprawdź ponownie.
Często zadawane pytania dotyczące robots.txt w WordPress
Oto najczęstsze pytania, które czytelnicy nam zadają na temat optymalizacji pliku robots.txt w WordPress.
1. Czy używanie robots.txt może poprawić bezpieczeństwo mojej witryny?
Nie, robots.txt nie jest środkiem bezpieczeństwa. Plik jest publicznie dostępny, więc w rzeczywistości nie blokuje nikogo przed dostępem do wymienionych adresów URL. Po prostu zawiera dyrektywy dla dobrze zachowujących się robotów wyszukiwarek.
2. Czy powinienem blokować strony kategorii i tagów WordPress w robots.txt?
Nie, nie powinieneś blokować stron kategorii i tagów. Te strony archiwum zawierają linki wewnętrzne, za którymi podążają roboty, aby dotrzeć do Twoich starszych wpisów, więc ich blokowanie usuwa ścieżkę odkrywania treści, które chcesz zaindeksować.
3. Jaka jest różnica między robots.txt a tagiem noindex?
Kontrolują różne rzeczy. Robots.txt kontroluje, czy robot może w ogóle odwiedzić adres URL. Tag noindex kontroluje, czy wyszukiwarki wyświetlają stronę w wynikach wyszukiwania, nawet jeśli już ją odwiedziły.
Użyj robots.txt, aby zablokować roboty przed dostępem do obszarów takich jak panel administracyjny, środowisko stagingowe lub katalogi wtyczek. Użyj noindex dla stron, które chcesz, aby Google indeksował, takie jak strony z filtrowanymi archiwami lub strony podziękowania, których po prostu nie chcesz wyświetlać w wynikach wyszukiwania.
Mamy nadzieję, że ten artykuł pomógł Ci dowiedzieć się, jak zoptymalizować plik robots.txt WordPress pod kątem SEO. Możesz również zapoznać się z naszym ostatecznym przewodnikiem po SEO dla WordPress oraz naszymi ekskluzywnymi wyborami najlepszych narzędzi SEO dla WordPress do rozwoju Twojej witryny.
Jeśli podobał Ci się ten artykuł, zasubskrybuj nasz kanał YouTube po samouczki wideo WordPress. Możesz nas również znaleźć na Twitterze i Facebooku.
Dennis Muthomi
Muszę przyznać, że używam wtyczki AIOSEO, ale zawsze ignorowałem opcję „Włącz niestandardowy plik robots.txt”, ponieważ nie chciałem niczego zepsuć.
Ale przeczytałem ten artykuł i jestem przekonany, że warto poświęcić czas na optymalizację pliku robots.txt mojej witryny.
Amit Banerjee
Gdyby podano cały szablon robots.txt, byłoby to pomocne.
Wsparcie WPBeginner
Uwzględniliśmy cały plik robots.txt
Administrator
Michael
Myślę, że powinieneś zmodyfikować swoją odpowiedź. Powinno być https zamiast http. Czy można zablokować również pliki wtyczek?
Wsparcie WPBeginner
Dziękujemy za zwrócenie uwagi, nasza próbka została zaktualizowana. Aby zablokować wtyczki, najlepiej skontaktować się z konkretną wtyczką.
Moinuddin Waheed
Dzięki za ten informacyjny post o pliku robots.txt.
Nie wiedziałem, że strony internetowe powinny utrzymywać ten plik, aby mieć kontrolę nad botami Google, jak powinny one indeksować nasze strony i posty.
Czy dla początkujących stron internetowych, które dopiero zaczynają, istnieje potrzeba posiadania pliku robots.txt, czy istnieje sposób, na przykład wtyczka, która może stworzyć plik robots.txt dla naszej strony internetowej?
Wsparcie WPBeginner
Większość wtyczek SEO pomaga w konfiguracji robots.txt dla nowej witryny, aby zapobiec indeksowaniu przez boty sekcji, których nie powinny.
Administrator
Jiří Vaněk
Dzięki temu artykułowi sprawdziłem plik robots.txt i dodałem adresy URL z mapami witryn. Jednocześnie miałem tam inne problematyczne linie, które ujawnił walidator. Nie znałem wcześniej map witryn w robots.txt. Dziękuję.
Wsparcie WPBeginner
Proszę bardzo, cieszę się, że nasz przewodnik mógł pomóc!
Administrator
Stéphane
Cześć,
Dzięki za ten post, staje się jaśniejsze, jak używać pliku robots.txt. Na większości stron internetowych, które znajdziesz szukając porad dotyczących pliku robots.txt, możesz zobaczyć, że następujące foldery są wyraźnie wykluczone z indeksowania (dla WordPressa):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Nie do końca rozumiem powody wykluczenia tych folderów (czy faktycznie jakiś jest?). Co byś o tym sądził?
Wsparcie WPBeginner
Chodzi głównie o to, aby zapobiec pojawianiu się czegokolwiek w tych folderach jako wynik, gdy użytkownik wyszukuje Twoją witrynę. Ponieważ nie jest to Twój kontent, większość ludzi nie chciałaby, aby pojawił się w wynikach witryny.
Administrator
zaid haris
Zabroń: /wp-admin/
Zezwól: /wp-admin/admin-ajax.php
GSC pokazuje błąd pokrycia dla „Disallow: /wp-admin/”. Czy to jest błędne?
Wsparcie WPBeginner
W przypadku większości witryn nie chcesz, aby cokolwiek z Twojego wp-admin pojawiało się w wynikach wyszukiwania, więc jest to w porządku i oczekiwane, że otrzymasz obszar pokrycia, gdy odmówisz Google możliwości skanowania Twojego wp-admin.
Administrator
Hansini
Tworzę mój robots.txt ręcznie, zgodnie z Twoimi instrukcjami dla mojej strony WordPress.
Mam jedno wątpliwość. kiedy piszę User-Agent: * czy nie pozwoli to innemu robotowi spamującemu na dostęp do mojej strony?
Czy powinienem napisać User-Agent: * czy User-Agent: Googlebot.?
Wsparcie WPBeginner
Linia User-Agent ustawia reguły, których wszystkie roboty powinny przestrzegać w Twojej witrynie; jeśli określisz konkretnego bota w tej linii, ustawiałbyś reguły dla tego konkretnego bota, a nie dla żadnego innego.
Administrator
Nishant
Co powinniśmy napisać, aby Google zaindeksowało mój post?
Wsparcie WPBeginner
Aby Twoja witryna została uwzględniona w wynikach wyszukiwania, zapoznaj się z naszym poniższym artykułem:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Administrator
Sanjeev Pandey
czy powinniśmy również zablokować /wp-content/themes/ ?
Pojawia się w wynikach wyszukiwania, gdy wpisuję polecenie site:abcdef.com w wyszukiwarce Google
Wsparcie WPBeginner
Nie chciałbyś martwić się o blokowanie folderu motywów, a pisząc treści przyjazne dla SEO, nie powinieneś już widzieć motywów jako wynik wyszukiwania.
Administrator
Salem
Cześć, co oznacza „Disallow: /readme.html & Disallow: /refer/”?
Wsparcie WPBeginner
Oznacza to, że mówisz wyszukiwarkom, aby nie przeglądały żadnych linków polecających ani pliku readme.html.
Administrator
sean
Cześć, jakie są zalety i wady blokowania wp-content/uploads
Dziękuję
Wsparcie WPBeginner
Jeśli zablokujesz folder przesyłania, wyszukiwarki zazwyczaj nie będą indeksować przesłanych treści, takich jak obrazy.
Administrator
Piyush
dzięki za rozwiązanie mojego problemu
Wsparcie WPBeginner
Proszę bardzo
Administrator
Ravi kumar
Panie, jestem bardzo zdezorientowany co do robot.txt, wiele razy przesyłałem mapę witryny na Bloggera, ale po 3-4 dniach pojawia się ten sam problem, co dokładnie oznacza robot.txt.. & jak to przesłać, proszę o wskazówki
Wsparcie WPBeginner
Zależałoby to od Twojego konkretnego problemu, być może warto zapoznać się z naszą stroną poniżej:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Administrator
Prem
Jeśli nie indeksuję adresu URL lub strony za pomocą pliku robots.txt, czy Google wyświetla jakiś błąd w konsoli wyszukiwania?
Wsparcie WPBeginner
Nie, Google nie umieści strony na liście, ale jeśli strona jest na liście, nie wyświetli błędu.
Administrator
Bharat
Cześć
Mam pytanie
Otrzymałem ostrzeżenie o problemie z indeksowaniem w Google Search Console dotyczące zablokowania przez robots.txt
/wp-admin/widgets.php
Moje pytanie brzmi, czy mogę zezwolić na wp-admin/widgets.php w robots.txt i czy jest to bezpieczne?
Wsparcie WPBeginner
Jeśli chcesz, możesz, ale nie jest to plik, który Google musi indeksować.
Administrator
Anthony
Witam, zastanawiam się, czy powinniście zezwolić na: /wp-admin/admin-ajax.php?
Wsparcie WPBeginner
Zazwyczaj tak, powinieneś.
Administrator
Jaira
Czy mogę wiedzieć, dlaczego należy zezwolić na /wp-admin/admin-ajax.php?
Wsparcie WPBeginner
Jest on używany przez różne motywy i wtyczki, aby poprawnie wyświetlać się w wyszukiwarkach.
Amila
Witaj! Bardzo podoba mi się ten artykuł i ponieważ jestem początkujący we wszystkim, co dotyczy indeksowania, chciałbym o coś zapytać. Ostatnio Google zaindeksował jedną z moich stron internetowych w naprawdę okropny sposób, pokazując w wynikach wyszukiwania strony, które zostały usunięte z witryny. Początkowo witryna nie zniechęcała wyszukiwarek do indeksowania w ustawieniach WordPress, ale zrobiła to później, gdy Google pokazał jeszcze 3 dodatkowe strony w wynikach wyszukiwania (tych stron również nie ma) i naprawdę nie rozumiem, jak mogło się to zdarzyć przy włączonej opcji „zniechęcaj wyszukiwarki do indeksowania”. Czy metoda Yoast może być pomocna i rozwiązać problem mojej witryny, aby Google tym razem zaindeksował moją witrynę w odpowiedni sposób? Z góry dziękuję!
Wsparcie WPBeginner
Wtyczka Yoast powinna pomóc w zapewnieniu prawidłowego indeksowania stron, które posiadasz. Istnieje szansa, że zanim zniechęciłeś wyszukiwarki do indeksowania Twojej strony, Twoja strona została już zbuforowana.
Administrator
Amila
Cóż, tak i ze wszystkich stron, zindeksował te, które już nie istnieją. Tak czy inaczej, ponieważ bieżąca strona ma ustawienie „zniechęcaj”, czy lepiej zostawić ją tak na razie, czy odznaczyć pole i pozwolić Google ponownie ją przeszukać i zaindeksować z pomocą Yoast? Dzięki! Z Twoimi artykułami wszystko stało się łatwiejsze!
Wsparcie WPBeginner
Będziesz chciał, aby Google ponownie przeskanowało Twoją witrynę, gdy zostanie ona skonfigurowana zgodnie z Twoimi oczekiwaniami.
Pradhuman Kumar
Cześć, uwielbiałem artykuł, bardzo precyzyjny i doskonały.
Tylko mała sugestia, proszę zaktualizuj obrazek testera ROBOTS.txt, ponieważ Konsola Google została zmieniona i byłoby wspaniale, gdybyś dodał link do sprawdzenia robots.txt z Google.
Wsparcie WPBeginner
Dziękujemy za opinię, z pewnością zajmiemy się aktualizacją artykułu, gdy tylko będzie to możliwe.
Administrator
Kamaljeet Singh
Plik robots.txt mojego bloga wyglądał tak:
User-Agent: *
crawl-delay: 10
Po przeczytaniu tego posta zmieniłem go na zalecany plik robots.txt. Czy mogę usunąć crawl-delay?
Wsparcie WPBeginner
Powinno być w porządku, crawl-delay mówi wyszukiwarkom, aby spowolniły szybkość indeksowania Twojej witryny.
Administrator
Reena
Bardzo ładnie opisane o robot.text, jestem bardzo zadowolony
jesteś bardzo dobrym pisarzem
Wsparcie WPBeginner
Dziękujemy, cieszymy się, że spodobał Ci się nasz artykuł
Administrator
JJ
Co to jest strona Disallow: /refer/ ? Otrzymuję 404, czy to ukryty plik wp?
Personel redakcyjny
Używamy /refer/ do przekierowania do różnych linków partnerskich na naszej stronie internetowej. Nie chcemy, aby były one indeksowane, ponieważ są to tylko przekierowania, a nie faktyczna treść.
Administrator
Sagar Arakh
Dziękuję za udostępnienie. To było naprawdę pomocne w zrozumieniu robots.txt
Zaktualizowałem mój robots.txt do idealnego, który zasugerowałeś. Teraz poczekam na wyniki.
Wsparcie WPBeginner
Proszę bardzo, cieszę się, że chcesz skorzystać z naszych rekomendacji
Administrator
Akash Gogoi
Bardzo pomocny artykuł. Dziękuję bardzo.
Wsparcie WPBeginner
Cieszymy się, że nasz artykuł był pomocny
Administrator
Zingylancer
Dziękuję za udostępnienie tych przydatnych informacji o nas.
Wsparcie WPBeginner
Cieszymy się, że mogliśmy podzielić się tymi informacjami na temat pliku robots.txt
Administrator
Jasper
dziękuję za aktualne informacje. Twój artykuł był dobry dla pliku Robot txt. Zawierał nowe informacje. dziękuję i informuj mnie o nowych pomysłach.
Wsparcie WPBeginner
Cieszymy się, że nasz przewodnik był pomocny
Administrator
Imran
Dzięki, dodałem robots.txt w WordPressie. Bardzo dobry artykuł
Wsparcie WPBeginner
Dziękuję, cieszę się, że nasz artykuł był pomocny
Administrator
Steve
Dzięki za to – jak to działa na WP Multisite?
Wsparcie WPBeginner
W przypadku multisite, musiałbyś mieć plik robots.txt w głównym folderze każdej witryny.
Administrator
Pacifique Ndanyuzwe
Moja strona wordpress jest nowa, a mój plik robot.txt domyślnie wygląda tak:
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Chcę, aby Google indeksował moje treści. Czy ten robots.txt jest w porządku?
Wsparcie WPBeginner
Możesz oczywiście tego użyć, jeśli chcesz
Administrator
Ritesh Seth
Świetny artykuł…
Od wielu dni miałem wątpliwości co do pliku Robots.txt i linków Disallow. Skopiowałem tagi dla pliku robots. Mam nadzieję, że to rozwiąże problem mojej witryny
Wsparcie WPBeginner
Mamy nadzieję, że nasz artykuł również pomoże
Administrator
Kurt
Pliki na zrzutach ekranu mojego folderu głównego znajdują się faktycznie w folderze public_html w moim folderze głównym.
Nie miałem folderu /refer pod moim folderem public_html.
Nie miałem plików xml postów ani stron nigdzie na moim koncie WP.
Uwzględniłem wpis w pliku robots.txt, który utworzyłem, aby zablokować indeksowanie mojej strony-piaskownicy. Nie jestem pewien, czy jest to konieczne, ponieważ już wybrałem opcję w WP, która mówi robotom, aby nie indeksowały mojej strony-piaskownicy, ale myślę, że dodanie tego wpisu nie zaszkodzi.
Wsparcie WPBeginner
Niektórzy hosterzy zmieniają nazwę public_html na home, dlatego widzisz ją tam. Chcesz upewnić się, że Yoast jest aktywny, aby pliki XML były dostępne. Metoda opisana w tym artykule jest dodatkowym środkiem ostrożności, który pomaga zapobiegać indeksowaniu Twojej witryny
Administrator
Ahmed
Świetny artykuł
Wsparcie WPBeginner
Dziękuję
Administrator
ASHOK KUMAR JADON
Cześć, taki miły artykuł, rozwiązałeś mój problem. Dziękuję bardzo
Wsparcie WPBeginner
Cieszymy się, że nasz artykuł mógł pomóc
Administrator
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– To jest mój kod robot.txt, ale nie rozumiem, dlaczego mój /wp-admin jest indeksowany? Jak go nie indeksować?
Wsparcie WPBeginner
Jeśli zostało wcześniej zaindeksowane, może być konieczne odczekanie, aż pamięć podręczna wyszukiwarki zostanie wyczyszczona
Administrator
Ashish kumar
Ta strona naprawdę inspiruje mnie do założenia bloga. Dziękuję za wiele tematów. Każdy artykuł na tej stronie jest bogaty w informacje i wyjaśnienia. Kiedy mam jakiś problem, najpierw odwiedzam ten blog. Dziękuję
Wsparcie WPBeginner
Cieszę się, że nasze artykuły mogą być pomocne
Administrator
Anna
Próbuję zoptymalizować roboty dla mojej strony internetowej za pomocą Yoast. Jednak Narzędzia w Yoast nie mają opcji „Edytor plików”.
Są tylko dwie opcje
(i) Import i eksport
(ii) Edytor masowy
Czy możesz doradzić, jak można to rozwiązać. Czy to możliwe, że korzystam z darmowej wersji Yoast?
Wsparcie WPBeginner
Darmowa wersja Yoast nadal ma tę opcję, Twoja instalacja może blokować edycję plików, w takim przypadku prawdopodobnie będziesz musiał użyć metody FTP.
Administrator
Emmanuel Husseni
Naprawdę uważam ten artykuł za pomocny, ponieważ naprawdę niewiele wiem o tym, jak działa robot.txt, ale teraz wiem.
Proszę, czego nie rozumiem, to jak znaleźć najlepszy format robot.txt do użycia na mojej stronie (mam na myśli taki, który działa ogólnie)?
Zauważyłem, że wiele dużych blogów, które sprawdzam, zajmuje wysokie pozycje w wyszukiwarkach i używa innego formatu robot.txt..
Chętnie zobaczę odpowiedź od Ciebie lub kogokolwiek, kto może pomóc.
Personel redakcyjny
Posiadanie mapy witryny i zezwolenie na obszary, które wymagają zezwolenia, jest najważniejszą częścią. Część z odmową będzie się różnić w zależności od każdej witryny. Udostępniliśmy przykład w naszym poście na blogu, i to powinno wystarczyć dla większości witryn WordPress.
Administrator
Wsparcie WPBeginner
Cześć Emmanuel,
Proszę zapoznać się z sekcją dotyczącą idealnego pliku robots.txt. Zależy to od Twoich własnych wymagań. Większość blogerów wyklucza foldery administracyjne WordPress i foldery wtyczek z indeksowania.
Administrator
Emmanuel Husseni
Dziękuję bardzo.
teraz rozumiem. Chyba zacznę od ogólnego formatu na razie.
jack
Dobrze napisany artykuł, polecam użytkownikom utworzenie mapy witryny przed utworzeniem i włączeniem ich tekstu ROBOTS, pomoże to Twojej witrynie szybciej się indeksować i łatwiej ją przeszukiwać.
Jack
Connie S Owens
Chciałbym uniemożliwić wyszukiwarkom indeksowanie moich archiwów podczas ich indeksowania.
Emmanuel Nonye
Wielkie dzięki, ten artykuł był naprawdę pomocny
Cherisa
Ciągle otrzymuję poniższy komunikat o błędzie w Google Webmaster. Jestem w zasadzie zablokowany. Kilka rzeczy, które nie były dla mnie jasne w tym poradniku, to: gdzie znaleźć pliki główne mojej witryny, jak sprawdzić, czy mam już „robots.txt” i jak go edytować?
Wsparcie WPBeginner
Cześć Cherisa,
Folder główny Twojej witryny to ten, który zawiera foldery takie jak wp-admin, wp-includes, wp-content itp. Zawiera również pliki takie jak wp-config.php, wp-cron.php, wp-blogheader.php itp.
Jeśli nie widzisz pliku robots.txt w tym folderze, to go nie masz. Możesz śmiało utworzyć nowy.
Administrator
Cherisa
Dziękuję za odpowiedź. Szukałem wszędzie i nie mogę znaleźć tych głównych plików, tak jak opisujesz. Czy jest jakaś ścieżka katalogu, którą mogę podążać, prowadząca do tego folderu? Na przykład, czy jest on pod Ustawieniami itp.?
Devender
Miałem przyzwoity ruch internetowy na mojej stronie. Nagle spadł do zera w miesiącu maju. Do tej pory mam problem. Proszę, pomóż mi odzyskać moją stronę.
Haris Aslam
Witaj, dziękuję za te informacje, ale mam pytanie.
Właśnie utworzyłem pliki sitemap.xml i robots.txt, i są one dobrze indeksowane. Ale jak mogę utworzyć „Product-Sitemap.xml”?
W pliku sitemap.xml znajduje się cała lista produktów. Czy muszę utworzyć Product-sitemap.xml osobno?
i ponownie przesłać do Google lub Bing?
Czy możesz mi pomóc...
Dziękuję
Mahadi Hassan
Mam problem z ustawieniem pliku robots.txt. Tylko jeden robots.txt jest wyświetlany dla wszystkich stron internetowych. Proszę, pomóż mi wyświetlić osobny plik robots.txt dla wszystkich stron internetowych. Mam wszystkie osobne pliki robots.txt dla każdej indywidualnej strony internetowej. Ale tylko jeden plik robots.txt jest wyświetlany w przeglądarce dla wszystkich stron internetowych.
Debu Majumdar
Proszę wyjaśnij, dlaczego włączyłeś
Disallow: /refer/
w przykładzie Robots.txt dla początkujących? Nie rozumiem implikacji tej linii. Czy jest to ważne dla początkujących? Wyjaśniłeś pozostałe dwie linie z Disallow.
Dzięki.
Wsparcie WPBeginner
Cześć Debu,
Ten przykład pochodzi z pliku robots.txt WPBeginner. W WPBeginner używamy ThirstyAffiliates do zarządzania linkami partnerskimi i maskowania adresów URL. Te adresy URL zawierają „/refer/”, dlatego blokujemy je w naszym pliku robots.txt.
Administrator
Evaristo
Jak mogę umieścić wszystkie tagi/mydomain.Com w nofollow? W robots.txt, aby skoncentrować link Juice? Dzięki.
harsh kumar
cześć,, mam błąd w yoast seo dotyczący mapy strony.. gdy klikam napraw, to pojawia się ponownie.. moja strona html nie ładuje się poprawnie
Tom
Przeglądałem właśnie moje konto Google Search Console i korzystając z Narzędzi dla webmasterów Google, znalazłem następujące informacje:
Strona załadowana częściowo
Nie wszystkie zasoby strony mogły zostać załadowane. Może to wpłynąć na sposób, w jaki Google widzi i rozumie Twoją stronę. Rozwiąż problemy z dostępnością wszelkich zasobów, które mogą wpłynąć na sposób, w jaki Google rozumie Twoją stronę.
Dzieje się tak, ponieważ wszystkie arkusze stylów CSS powiązane z wtyczkami są niedozwolone przez domyślny robots.txt.
Rozumiem dobre powody, dla których nie powinienem po prostu zezwalać na to, ale jaka byłaby alternatywa, ponieważ podejrzewam, że algorytmy Google obniżają ocenę witryny za ich niewidzenie.
Suren
Cześć,
Kiedy wyszukuję moją witrynę w Google, poniżej linku pojawia się tekst: „Opis tego wyniku nie jest dostępny z powodu pliku robots.txt tej witryny”.
Jak mogę rozwiązać ten problem?
Pozdrawiam
Wsparcie WPBeginner
Cześć Suren,
Wygląda na to, że ktoś przypadkowo zmienił ustawienia prywatności Twojej witryny. Przejdź do strony Ustawienia » Czytanie i przewiń w dół do sekcji „Widoczność dla wyszukiwarek”. Upewnij się, że pole obok jest odznaczone.
Administrator
Divyesh
Cześć
Jak widziałem w narzędziu dla webmasterów, mam plik robot.txt jak poniżej:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
daj znać, czy jest OK? czy powinienem użyć czegoś innego?
John Cester
Chciałbym wiedzieć, czy dobrym pomysłem jest blokowanie (niedozwalanie) „/wp-content/plugins/” w robots.tx? Za każdym razem, gdy usuwam wtyczkę, na niektórych stronach tej wtyczki pojawia się błąd 404.