Site-ul tău WordPress are deja un fișier robots.txt și acesta ia decizii cu privire la ce pot accesa roboții motoarelor de căutare, indiferent dacă l-ai modificat vreodată sau nu.
Majoritatea acestor decizii sunt inofensive. Dar o singură regulă aleasă greșit poate, de asemenea, să țină roboții departe de URL-urile pe care dorești de fapt ca ei să le descopere.
În acest ghid, vă vom arăta ce face fișierul dvs. robots.txt în prezent și cum să îl editați fără a atinge codul.
Iată tot ce vom acoperi în acest ghid:
Ce este un fișier Robots.txt?
Robots.txt este un fișier text simplu care spune roboților motoarelor de căutare ce părți ale site-ului dvs. pot accesa.
Fișierul se află în directorul rădăcină (folderul principal) al site-ului dvs. web. Formatul de bază arată astfel:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puteți adăuga oricâte reguli și hărți de site aveți nevoie. Dacă nu interziceți o adresă URL, roboții presupun că o pot accesa.
Site-ul dvs. funcționează bine fără un fișier robots.txt atunci când începeți un blog. Cu toate acestea, pe măsură ce conținutul dvs. crește, acest fișier devine mai util.
Motoarele de căutare acordă fiecărui site web un buget de accesare, care este numărul de pagini pe care le vor accesa într-un anumit interval de timp. Blocând paginile neimportante, îi ajutați pe roboți să cheltuiască acel buget pe conținutul pe care doriți să îl vedeți în rezultatele căutării.
Acest lucru este cel mai important pentru site-urile mari cu mii de pagini.
Rețineți că robots.txt vă ajută să controlați accesarea, nu indexarea.
- Accesarea este atunci când roboții motoarelor de căutare (cum ar fi Googlebot) vă vizitează site-ul web pentru a-i descoperi conținutul.
- Indexarea este atunci când adaugă acel conținut la baza lor masivă de date de căutare, astfel încât să poată apărea în rezultatele căutării.
Gândiți-vă la asta ca la un bibliotecar care citește o carte nouă (accesare) și apoi o adaugă în catalogul bibliotecii (indexare).
Cu alte cuvinte, robots.txt nu este o modalitate bună de a ascunde conținutul, deoarece o pagină interzisă poate apărea în continuare în rezultatele căutării dacă alte site-uri web se leagă de ea. Pentru a elimina în mod fiabil o pagină din Google, utilizați în schimb o etichetă meta „noindex”. Aceasta spune motoarelor de căutare să nu listeze deloc pagina.
Exemple și cele mai bune practici pentru Robots.txt
Pentru majoritatea site-urilor WordPress, puteți păstra fișierul robots.txt destul de simplu. Iată configurația de bază pe care o recomandăm:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Iată ce face fiecare regulă:
Allow: /wp-content/uploads/permite motoarelor de căutare să acceseze imaginile și alte fișiere încărcate în biblioteca media WordPress.Allow: /wp-admin/admin-ajax.phpmenține accesibil handler-ul AJAX al WordPress. Teme și plugin-uri pot folosi acest fișier pentru a încărca sau actualiza conținutul fără a reîmprospăta pagina.Disallow: /wp-admin/împiedică roboții să acceseze zona de administrare WordPress, care nu conține conținut pe care doriți să îl afișați în rezultatele căutării.Disallow: /readme.htmlîmpiedică roboții să acceseze fișierul implicitreadme.htmlal WordPress. Acest fișier nu este util motoarelor de căutare, deci există puține motive pentru ca acestea să îl acceseze.Disallow: /refer/împiedică roboții să urmărească URL-uri de afiliere sau alte URL-uri de redirecționare care folosesc prefixul/refer/. Dacă site-ul dvs. folosește un prefix diferit pentru aceste link-uri, înlocuiți/refer/cu propriul dvs.Disallow: /?s=împiedică roboții să solicite URL-urile interne de căutare ale WordPress. Aceste pagini, în general, nu sunt pagini de destinație utile pentru motoarele de căutare și pot crea multe URL-uri inutile de accesat.Sitemaple spune motoarelor de căutare unde să găsească hărțile site-ului dvs. XML. Acest lucru le facilitează descoperirea URL-urilor pe care doriți să le acceseze.
Acestea sunt aceleași tipuri de reguli de bază pe care le folosim pe WPBeginner. Puteți vedea fișierul nostru live la wpbeginner.com/robots.txt. Fișierul nostru de producție conține reguli suplimentare pentru un site mult mai mare, dar principiile de bază sunt aceleași.
Rețineți că utilizarea wildcard-ului* se aplică tuturor roboților de accesare.
De exemplu, această regulă îl blochează pe Googlebot de la accesarea folderului /private/:
User-agent: Googlebot
Disallow: /private/
Numele comune ale agenților de utilizator includ Googlebot (Google), Bingbot (Bing) și Baiduspider (Baidu).
Cum să creezi un fișier Robots.txt în WordPress
Există două moduri de a crea un fișier robots.txt în WordPress. Poți alege metoda care funcționează cel mai bine pentru tine.
Metoda 1: Editarea fișierului Robots.txt folosind All in One SEO
Majoritatea pluginurilor gratuite WordPress SEO, cum ar fi All in One SEO (AIOSEO), Yoast sau Rank Math, vă permit să personalizați fișierul robots.txt direct din tabloul de bord WordPress.
Folosim AIOSEO pe WPBeginner. Versiunea gratuită a AIOSEO vă ajută să validați regula robots.txt pe măsură ce tastați, ceea ce vă permite să detectați erorile de sintaxă înainte ca aceasta să fie publicată.
Odată ce pluginul este activ, pur și simplu accesați All in One SEO » Tools din tabloul de bord WordPress. Veți ajunge la Editorul Robots.txt. Activați comutatorul „Enable Custom Robots.txt” pentru a începe editarea.
Editorul afișează regulile implicite pe care WordPress le generează singur.
Acum puteți adăuga propriile reguli. Introduceți un agent de utilizator în câmpul „User Agent” sau utilizați * pentru a aplica regula tuturor roboților.
Apoi alegeți „Allow” sau „Disallow” în coloana Directive și introduceți calea fișierului sau a folderului în câmpul „Value”. Pentru a adăuga o altă regulă, faceți clic pe butonul „Add Rule”.
Puteți verifica fișierul finalizat în „Custom Robots.txt Preview” din partea de jos a ecranului. Acesta arată fișierul complet exact așa cum îl vor vedea roboții.
Când ați terminat, faceți clic pe butonul „Save Changes” pentru a salva regulile.
Metoda 2: Editarea manuală a fișierului Robots.txt folosind FTP
Dacă preferați să editați direct fișierul robots.txt, urmați această metodă. Pentru a edita fișierul, va trebui să utilizați un client FTP sau managerul de fișiere din panoul de găzduire WordPress.
Înainte de a edita ceva, descărcați o copie de rezervă a fișierului robots.txt curent pe computer. Astfel, îl puteți restaura dacă ceva nu merge bine.
Mai întâi, conectați clientul FTP la site-ul dvs. WordPress și găsiți fișierul robots.txt în folderul rădăcină al site-ului dvs.
Dacă nu vedeți unul, site-ul dvs. nu are încă un fișier robots.txt. Puteți crea unul chiar acolo.
Robots.txt este un fișier text simplu. Îl puteți descărca, edita în orice editor de text simplu, cum ar fi Notepad sau TextEdit, și îl puteți încărca înapoi în folderul rădăcină.
Cum să-ți testezi fișierul Robots.txt
După crearea sau editarea fișierului robots.txt, verificați-l întotdeauna pentru erori. O mică greșeală de scriere poate bloca pagini importante de la motoarele de căutare și este posibil să nu o observați timp de săptămâni.
Cel mai ușor mod de a testa fișierul robots.txt pentru erori este cu Google Search Console.
Mai întâi, asigurați-vă că site-ul dvs. este conectat la Google Search Console. Dacă nu este, urmați ghidul nostru despre cum să adăugați site-ul dvs. WordPress la Google Search Console.
Apoi accesați tabloul de bord Search Console și deschideți Setări din meniul din stânga jos. Găsiți secțiunea „Crawling” și faceți clic pe „Deschide raport” lângă „robots.txt”.
Faceți clic pe versiunea curentă a fișierului din listă. Raportul arată cel mai recent fișier robots.txt pe care Google l-a găsit și evidențiază orice erori de sintaxă sau probleme logice pe care le-a detectat.
Dacă tocmai ați actualizat fișierul și modificările nu apar, acordați-i o zi și apoi verificați-l din nou.
Întrebări frecvente despre Robots.txt WordPress
Iată cele mai frecvente întrebări pe care ni le adresează cititorii despre optimizarea fișierului robots.txt în WordPress.
1. Poate utilizarea robots.txt să îmbunătățească securitatea site-ului meu?
Nu, robots.txt nu este o măsură de securitate. Fișierul este vizibil public, deci nu împiedică pe nimeni să acceseze URL-urile pe care le listați. Acesta oferă pur și simplu directive pentru roboții motoarelor de căutare bine intenționați.
2. Ar trebui să blochez paginile de categorii și etichete WordPress în robots.txt?
Nu, nu ar trebui să blocați paginile de categorii și etichete. Aceste pagini de arhivă conțin linkuri interne pe care crawlerii le urmăresc pentru a ajunge la postările dvs. mai vechi, așa că blocarea lor elimină o cale de descoperire pentru conținutul pe care doriți să îl indexați.
3. Care este diferența dintre robots.txt și tag-ul noindex?
Ele controlează lucruri diferite. Robots.txt controlează dacă un crawler poate vizita o adresă URL. Tag-ul noindex controlează dacă motoarele de căutare listază o pagină în rezultatele căutării, chiar dacă au vizitat-o deja.
Utilizați robots.txt pentru a bloca roboții din zone precum panoul de administrare, mediul de staging sau directoarele de pluginuri. Utilizați noindex pentru paginile pe care sunteți de acord ca Google să le acceseze, cum ar fi paginile de arhivă filtrate sau paginile de mulțumire, pe care pur și simplu nu doriți să apară în rezultatele căutării.
Sperăm că acest articol te-a ajutat să înveți cum să optimizezi fișierul robots.txt WordPress pentru SEO. De asemenea, s-ar putea să vrei să vezi ghidul nostru complet de SEO pentru WordPress și selecțiile noastre de experți pentru cele mai bune instrumente SEO pentru WordPress pentru a-ți dezvolta site-ul web.
Dacă v-a plăcut acest articol, atunci vă rugăm să vă abonați la Canalul nostru de YouTube pentru tutoriale video despre WordPress. Ne puteți găsi, de asemenea, pe Twitter și Facebook.
Dennis Muthomi
Trebuie să recunosc, folosesc pluginul AIOSEO, dar am ignorat întotdeauna opțiunea „Activează Robots.txt personalizat” pentru că nu voiam să stric nimic.
Dar am citit acest articol și sunt convins că merită să-mi iau timp pentru a optimiza fișierul robots.txt al site-ului meu.
Amit Banerjee
Dacă ar fi fost oferit întregul șablon al fișierului robots.txt, ar fi fost de ajutor.
Suport WPBeginner
Am inclus întregul robots.txt
Admin
Michael
Cred că ar trebui să vă modificați răspunsul. Ar trebui să fie https în loc de http. Este corect să interziceți și fișierele plugin?
Suport WPBeginner
Vă mulțumim că ați semnalat acest lucru, eșantionul nostru a fost actualizat. Pentru a interzice plugin-urile, ar trebui să verificați cu plugin-ul specific pentru a fi sigur.
Moinuddin Waheed
Mulțumesc pentru acest post informativ despre fișierul robots.txt.
Nu știam că site-urile web ar trebui să întrețină acest fișier pentru a avea control asupra roboților Google, cum ar trebui să scaneze paginile și postările noastre.
pentru site-urile web începătoare, este necesar să avem un fișier robots.txt sau există o modalitate precum un plugin care poate crea un fișier robots.txt pentru site-ul nostru?
Suport WPBeginner
Majoritatea pluginurilor SEO ajută la configurarea fișierului robots.txt pentru un site nou, pentru a împiedica roboții să acceseze secțiuni pe care nu ar trebui.
Admin
Jiří Vaněk
Datorită acestui articol, am verificat fișierul robots.txt și am adăugat adrese URL cu hărți de site. În același timp, am avut și alte linii problematice acolo, care au fost dezvăluite de validator. Nu eram familiarizat cu hărțile de site în robots.txt până acum. Mulțumesc.
Suport WPBeginner
Cu plăcere, ne bucurăm că ghidul nostru v-a putut ajuta!
Admin
Stéphane
Salut,
Mulțumesc pentru postarea respectivă, devine mai clar cum să folosești fișierul robots.txt. Pe majoritatea site-urilor web pe care le găsești în timp ce cauți sfaturi referitoare la fișierul robots.txt, poți vedea că următoarele foldere sunt explicit excluse de la indexare (pentru WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Nu înțeleg cu adevărat motivele pentru excluderea acelor foldere (există vreunul de fapt?). Care ar fi părerea dumneavoastră în această privință?
Suport WPBeginner
Este în principal pentru a preveni ca orice din acele foldere să apară ca rezultat atunci când un utilizator caută site-ul dvs. Deoarece nu este conținutul dvs., nu este ceva ce majoritatea oamenilor ar dori să apară în rezultatele site-ului.
Admin
zaid haris
Interzice: /wp-admin/
Permite: /wp-admin/admin-ajax.php
GSC arată eroarea de acoperire pentru „Disallow: /wp-admin/”. Este greșit?
Suport WPBeginner
Pentru majoritatea site-urilor, nu doriți ca nimic din wp-admin să apară ca rezultat al căutării, deci este în regulă și de așteptat să primiți zona de acoperire atunci când refuzați Google posibilitatea de a scana wp-admin.
Admin
Hansini
Îmi creez robots.txt manual, așa cum ați indicat, pentru site-ul meu WordPress.
Am o nelămurire. când scriu User-Agent: * nu va permite altui robot de spam să acceseze site-ul meu?
Ar trebui să scriu User-Agent: * sau User-Agent: Googlebot.?
Suport WPBeginner
Linia User-Agent stabilește regulile pe care toți roboții ar trebui să le urmeze pe site-ul dvs.; dacă specificați un bot anume pe acea linie, ar stabili reguli pentru acel bot specific și pentru niciunul dintre ceilalți.
Admin
Nishant
Ce ar trebui să scriem pentru ca Google să-mi indexeze postarea?
Suport WPBeginner
Pentru a-ți lista site-ul, ar trebui să consulți articolul nostru de mai jos:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Admin
Sanjeev Pandey
ar trebui să interzicem și /wp-content/themes/ ?
Apare în rezultatele căutării atunci când rulez comanda site:abcdef.com în căutarea Google
Suport WPBeginner
Nu ați dori să vă faceți griji cu privire la blocarea folderului temelor dvs. și, pe măsură ce scrieți conținut optimizat SEO, nu ar trebui să mai vedeți temele ca rezultat al căutării.
Admin
Salem
Salut, ce înseamnă „ Disallow: /readme.html & Disallow: /refer/ ”?
Suport WPBeginner
Asta înseamnă că le spui motoarelor de căutare să nu ia în considerare niciun link de referință sau fișierul readme.html.
Admin
sean
Bună, care sunt avantajele și dezavantajele blocării wp-content/uploads
Mulțumesc
Suport WPBeginner
Dacă îți blochezi folderul de încărcări, motoarele de căutare nu ar accesa în mod normal conținutul tău încărcat, cum ar fi imaginile.
Admin
Piyush
mulțumesc pentru rezolvarea problemei mele
Suport WPBeginner
Cu plăcere
Admin
Ravi kumar
Domnule, sunt foarte confuz în legătură cu robot.txt, de multe ori am trimis harta site-ului pe blogger, dar după 3, 4 zile apare aceeași problemă, ce este exact robot.txt.. & cum să-l trimit, vă rog să mă ghidați
Suport WPBeginner
Ar depinde de problema ta specifică, s-ar putea să vrei să arunci o privire pe pagina noastră de mai jos:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Admin
Prem
Dacă nu indexez o adresă URL sau o pagină folosind fișierul robots.txt, Google afișează vreo eroare în Search Console?
Suport WPBeginner
Nu, Google nu va lista pagina, dar dacă pagina este listată, nu va afișa o eroare.
Admin
Bharat
Salut
Am o întrebare
Am primit un avertisment de la Google Search Console privind probleme de acoperire, blocat de robots.txt
/wp-admin/widgets.php
Întrebarea mea este, pot permite fișierului robots.txt accesul la wp-admin/widgets.php și este sigur acest lucru?
Suport WPBeginner
DACĂ ai vrea, ai putea, dar acesta nu este un fișier pe care Google să-l acceseze.
Admin
Anthony
Salut, mă întreb dacă ar trebui să permiți: /wp-admin/admin-ajax.php?
Suport WPBeginner
În mod normal, da, ar trebui.
Admin
Jaira
Pot să știu de ce ar trebui să permiteți /wp-admin/admin-ajax.php?
Suport WPBeginner
Este utilizat de diferite teme și plugin-uri pentru a apărea corect pentru motoarele de căutare.
Amila
Bună ziua! Îmi place foarte mult acest articol și, fiind începător cu toate aceste chestiuni legate de crawling, aș dori să întreb ceva în acest sens. Recent, Google a accesat și indexat unul dintre site-urile mele într-un mod foarte neplăcut, afișând pagini în rezultatele căutării care au fost șterse de pe site. Site-ul nu a descurajat motoarele de căutare de la indexare în setările WordPress la început, dar a făcut-o mai târziu, după ce Google a afișat încă 3 pagini în rezultatele căutării (acele pagini, de asemenea, nu există) și chiar nu înțeleg cum s-ar fi putut întâmpla acest lucru cu opțiunea „descurajează motoarele de căutare de la indexare” activată. Deci, metoda Yoast poate fi utilă și poate oferi o soluție pentru ca site-ul meu să fie indexat corect de Google de data aceasta? Mulțumesc anticipat!
Suport WPBeginner
Plugin-ul Yoast ar trebui să vă ajute să vă asigurați că paginile pe care le aveți sunt indexate corect; există posibilitatea ca, înainte de a descuraja motoarele de căutare să acceseze site-ul dvs., pagina să fi fost cache-uită.
Admin
Amila
Ei bine, da și din toate paginile, a cache-uit pe cele care nu mai există. Oricum, deoarece pagina curentă este setată pe „descurajează”, este mai bine să o lăsați așa deocamdată sau să debifați căsuța și să lăsați Google să o scaneze și să o indexeze din nou cu ajutorul Yoast? Mulțumesc! Cu articolele dvs., totul a devenit mai ușor!
Suport WPBeginner
Ai dori ca Google să-ți re-crawleze site-ul odată ce este configurat așa cum dorești.
Pradhuman Kumar
Salut, mi-a plăcut foarte mult articolul, foarte precis și perfect.
Doar o mică sugestie, actualizați, vă rog, imaginea testerului ROBOTS.txt, deoarece consola Google s-a schimbat și ar fi grozav dacă ați adăuga linkul pentru a verifica robots.txt de la Google.
Suport WPBeginner
Vă mulțumim pentru feedback, vom fi siguri că vom actualiza articolul cât mai curând posibil.
Admin
Kamaljeet Singh
Fișierul robots.txt al blogului meu a fost:
User-Agent: *
crawl-delay: 10
După ce am citit acest post, l-am schimbat în fișierul robots.txt recomandat de tine. Este în regulă că am eliminat crawl-delay?
Suport WPBeginner
Ar trebui să fie în regulă, crawl-delay spune motoarelor de căutare să încetinească cât de repede să acceseze site-ul dvs.
Admin
Reena
Foarte frumos descris despre robot.text, sunt foarte fericit
ești un scriitor foarte bun
Suport WPBeginner
Mulțumim, mă bucur că ți-a plăcut articolul nostru
Admin
JJ
Ce este pagina Disallow: /refer/ ? Obțin un 404, este un fișier wp ascuns?
Personal editorial
Folosim /refer/ pentru a redirecționa către diverse linkuri afiliate de pe site-ul nostru. Nu dorim ca acestea să fie indexate, deoarece sunt doar redirecționări și nu conținut real.
Admin
Sagar Arakh
Mulțumesc pentru distribuire. Acest lucru mi-a fost de mare ajutor pentru a înțelege robots.txt
Mi-am actualizat robots.txt la cel ideal pe care l-ați sugerat. Voi aștepta rezultatele acum
Suport WPBeginner
Cu plăcere, mă bucur că ești dispus să folosești recomandările noastre
Admin
Akash Gogoi
Articol foarte util. Vă mulțumesc foarte mult.
Suport WPBeginner
Mă bucur că articolul nostru a fost util
Admin
Zingylancer
Mulțumesc pentru partajarea acestei informații utile despre noi.
Suport WPBeginner
Mă bucur că am putut împărtăși aceste informații despre fișierul robots.txt
Admin
Jasper
mulțumesc pentru informațiile actualizate pentru mine. Articolul tău a fost bun pentru fișierul Robot txt. Mi-a oferit o informație nouă. mulțumesc și ține-mă la curent cu idei noi.
Suport WPBeginner
Mă bucur că ghidul nostru a fost util
Admin
Imran
Mulțumesc, am adăugat robots.txt în WordPress. Foarte bun articol.
Suport WPBeginner
Mulțumim, ne bucurăm că articolul nostru a fost util
Admin