Din WordPress-webbplats har redan en robots.txt-fil och den fattar beslut om vad sökmotor-crawlers kan komma åt, oavsett om du någonsin har rört den eller inte.
De flesta av dessa beslut är ofarliga. Men en enda dåligt vald regel kan också hindra crawlers från att upptäcka URL:er som du faktiskt vill att de ska hitta.
I den här guiden visar vi dig vad din robots.txt-fil gör just nu och hur du redigerar den utan att röra koden.
Här är allt vi kommer att täcka i den här guiden:
Vad är en robots.txt-fil?
Robots.txt är en vanlig textfil som talar om för sökmotorernas bottar vilka delar av din webbplats de kan genomsöka.
Filen ligger i rotkatalogen (huvudmappen) på din webbplats. Grundformatet ser ut så här:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Du kan lägga till så många regler och webbplatser som du behöver. Om du inte nekar en URL antar bottar att de kan genomsöka den.
Din webbplats fungerar bra utan en robots.txt-fil när du först startar en blogg. Men när ditt innehåll växer blir den här filen mer användbar.
Sökmotorer ger varje webbplats en genomsökningsbudget, vilket är antalet sidor de kommer att genomsöka under en viss tidsperiod. Genom att blockera oviktiga sidor hjälper du bottar att spendera den budgeten på det innehåll du vill ha i sökresultaten.
Detta är viktigast för stora webbplatser med tusentals sidor.
Tänk på att robots.txt hjälper dig att kontrollera genomsökning, inte indexering.
- Genomsökning är när sökmotorernas bottar (som Googlebot) besöker din webbplats för att upptäcka dess innehåll.
- Indexering är när de lägger till det innehållet i sin massiva sökningsdatabas så att det kan visas i sökresultaten.
Tänk på det som att en bibliotekarie läser en ny bok (genomsökning) och sedan lägger till den i bibliotekets katalog (indexering).
Med andra ord är robots.txt inte heller ett bra sätt att dölja innehåll eftersom en nekad sida fortfarande kan visas i sökresultaten om andra webbplatser länkar till den. För att på ett tillförlitligt sätt hålla en sida utanför Google, använd istället en 'noindex'-metatagg. Detta talar om för sökmotorer att inte lista sidan alls.
Exempel och bästa praxis för Robots.txt
För de flesta WordPress-webbplatser kan du hålla din robots.txt-fil ganska enkel. Här är den grundläggande konfiguration vi rekommenderar:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Här är vad varje regel gör:
Allow: /wp-content/uploads/låter sökmotorer genomsöka dina bilder och andra filer som laddats upp till ditt WordPress-mediebibliotek.Allow: /wp-admin/admin-ajax.phphåller WordPress AJAX-hanterare tillgänglig. Teman och plugins kan använda den här filen för att ladda eller uppdatera innehåll utan att uppdatera sidan.Disallow: /wp-admin/förhindrar genomsökare från att komma åt ditt WordPress-adminområde, som inte innehåller innehåll du vill ska visas i sökresultaten.Disallow: /readme.htmlförhindrar genomsökare från att komma åt WordPress standardfilreadme.html. Den här filen är inte användbar för sökmotorer, så det finns liten anledning för dem att genomsöka den.Disallow: /refer/förhindrar genomsökare från att följa affiliate- eller andra omdirigerings-URL:er som använder prefixet/refer/. Om din webbplats använder ett annat prefix för dessa länkar, ersätt/refer/med ditt eget.Disallow: /?s=förhindrar genomsökare från att begära WordPress interna sök-URL:er. Dessa sidor är generellt sett inte användbara landningssidor för sökmotorer och kan skapa många onödiga URL:er att genomsöka.Sitemaptalar om för sökmotorer var de hittar dina XML-sitemaps. Detta gör det lättare för dem att upptäcka de URL:er du vill att de ska genomsöka.
Detta är samma kärntyper av regler som vi använder på WPBeginner. Du kan se vår livefil på wpbeginner.com/robots.txt. Vår produktionsfil innehåller ytterligare regler för en mycket större webbplats, men de grundläggande principerna är desamma.
Tänk på att användningen av jokertecknet* gäller alla crawlers.
Till exempel blockerar denna regel Googlebot från att genomsöka mappen /private/:
User-agent: Googlebot
Disallow: /private/
Vanliga användaragentnamn inkluderar Googlebot (Google), Bingbot (Bing) och Baiduspider (Baidu).
Hur man skapar en Robots.txt-fil i WordPress
Det finns två sätt att skapa en robots.txt-fil i WordPress. Du kan välja den metod som fungerar bäst för dig.
Metod 1: Redigera robots.txt-filen med All in One SEO
De flesta kostnadsfria WordPress SEO-plugins, som All in One SEO (AIOSEO), Yoast eller Rank Math, låter dig anpassa din robots.txt-fil direkt från din WordPress-instrumentpanel.
Vi använder AIOSEO på WPBeginner. Den kostnadsfria versionen av AIOSEO hjälper dig att validera din robots.txt-regel medan du skriver, vilket gör att du kan upptäcka syntaxfel innan den går live.
När pluginet är aktivt, gå helt enkelt till All in One SEO » Verktyg i din WordPress-instrumentpanel. Du kommer att hamna på Robots.txt-redigeraren. Aktivera växlingsknappen 'Aktivera anpassad Robots.txt' för att börja redigera.
Redigeraren visar standardreglerna som WordPress genererar på egen hand.
Nu kan du lägga till dina egna regler. Ange en användaragent i fältet 'Användaragent', eller använd * för att tillämpa regeln på alla bots.
Välj sedan 'Tillåt' eller 'Neka' i kolumnen 'Direktiv', och skriv sökvägen till filen eller mappen i fältet 'Värde'. För att lägga till en ny regel, klicka på knappen 'Lägg till regel'.
Du kan kontrollera din färdiga fil i 'Förhandsgranskning av anpassad Robots.txt' längst ner på skärmen. Den visar hela filen exakt som bots kommer att se den.
När du är klar, klicka på knappen 'Spara ändringar' för att spara dina regler.
Metod 2: Redigera Robots.txt-filen manuellt med FTP
Om du hellre vill redigera din robots.txt-fil direkt, följ då denna metod. För att redigera filen måste du använda en FTP-klient eller filhanteraren i din WordPress-värdpanel.
Innan du redigerar något, ladda ner en säkerhetskopia av din nuvarande robots.txt-fil till din dator. På så sätt kan du återställa den om något går fel.
Först, anslut din FTP-klient till din WordPress-webbplats och hitta robots.txt-filen i din webbplats rotmapp.
Om du inte ser en, har din webbplats ingen robots.txt-fil ännu. Du kan skapa en direkt där.
Robots.txt är en vanlig textfil. Du kan ladda ner den, redigera den i en vanlig textredigerare som Anteckningar eller TextEdit, och ladda upp den tillbaka till din rotmapp.
Hur du testar din Robots.txt-fil
Efter att ha skapat eller redigerat din robots.txt-fil, kontrollera den alltid för fel. En liten felskrivning kan blockera viktiga sidor från sökmotorer, och du kanske inte märker det på flera veckor.
Det enklaste sättet att testa din robots.txt-fil för fel är med Google Search Console.
Gör först en säkerhetskoll att din webbplats är ansluten till Google Search Console. Om den inte är det, följ vår guide om hur du lägger till din WordPress-webbplats i Google Search Console.
Gå sedan till din Search Console-instrumentpanel och öppna Inställningar från menyn längst ner till vänster. Leta reda på avsnittet 'Crawling' och klicka på 'Öppna rapport' bredvid 'robots.txt'.
Klicka på den aktuella versionen av filen i listan. Rapporten visar den senaste robots.txt som Google har hittat, och den markerar eventuella syntaxfel eller logiska problem som den upptäckt.
Om du precis har uppdaterat din fil och ändringarna inte visas, ge det en dag och kontrollera den sedan igen.
Vanliga frågor om WordPress robots.txt
Här är de vanligaste frågorna som läsare ställer oss om optimering av robots.txt-filen i WordPress.
1. Kan användning av robots.txt förbättra min webbplats säkerhet?
Nej, robots.txt är inte en säkerhetsåtgärd. Filen är offentligt synlig, så den hindrar faktiskt ingen från att komma åt de URL:er du listar. Den ger helt enkelt direktiv till väluppfostrade sökmotor-crawlers.
2. Ska jag blockera WordPress kategori- och taggsidor i robots.txt?
Nej, du bör inte blockera kategori- och taggsidor. Dessa arkivsidor innehåller interna länkar som crawlers följer för att nå dina äldre inlägg, så att blockera dem tar bort en upptäcktsväg för innehållet du vill indexera.
3. Vad är skillnaden mellan robots.txt och noindex-taggen?
De kontrollerar olika saker. Robots.txt kontrollerar om en crawler kan besöka en URL överhuvudtaget. Noindex-taggen kontrollerar om sökmotorer listar en sida i sökresultaten, även om de redan har besökt den.
Använd robots.txt för att blockera robotar från områden som ditt adminpanel, staging-miljö eller plugin-kataloger. Använd noindex för sidor som du är okej med att Google genomsöker, som filtrerade arkivsidor eller tack-sidor, som du bara inte vill ska visas i sökresultaten.
Vi hoppas att den här artikeln hjälpte dig att lära dig hur du optimerar din WordPress robots.txt-fil för SEO. Du kanske också vill se vår ultimata WordPress SEO-guide och våra experttips för de bästa WordPress SEO-verktygen för att växa din webbplats.
Om du gillade den här artikeln, prenumerera gärna på vår YouTube-kanal för WordPress-videoguider. Du kan också hitta oss på Twitter och Facebook.
Dennis Muthomi
Jag måste erkänna, jag använder AIOSEO-pluginet men har alltid ignorerat alternativet "Aktivera anpassad robots.txt" eftersom jag inte ville förstöra något.
Men jag har läst den här artikeln och är övertygad om att det är värt att ta sig tid att optimera min robots.txt-fil.
Amit Banerjee
Om hela mallen för robots.txt hade getts, hade det varit till hjälp.
WPBeginner Support
Vi inkluderade hela robots.txt
Admin
Michael
Jag tycker att du borde ändra ditt svar. Det borde vara https istället för http. Är det rätt att även neka plugin-filer?
WPBeginner Support
Tack för att du påpekade det, vårt exempel har uppdaterats. För att blockera plugins bör du kontrollera med det specifika pluginet för att vara säker.
Moinuddin Waheed
Tack för detta informativa inlägg om robots.txt-filen.
Jag visste inte att webbplatser bör underhålla denna fil för att ha kontroll över Google-robotar om hur de ska genomsöka våra sidor och inlägg.
för nybörjarwebbplatser som precis har börjat, finns det ett behov av att ha en robots.txt-fil eller finns det ett sätt som ett plugin som kan skapa en robots.txt-fil för vår webbplats?
WPBeginner Support
De flesta SEO-plugins hjälper till med att konfigurera robots.txt för en ny webbplats för att förhindra att bottar skannar sektioner de inte borde.
Admin
Jiří Vaněk
Tack vare den här artikeln kontrollerade jag robots.txt-filen och lade till URL-adresser med sitemaps. Samtidigt hade jag andra problematiska rader där, som uppdagades av validatorn. Jag var inte bekant med sitemaps i robots.txt förrän nu. Tack.
WPBeginner Support
Varsågod, glad att vår guide kunde hjälpa!
Admin
Stéphane
Hej,
Tack för det inlägget, det blir tydligare hur man använder robots.txt-filen. På de flesta webbplatser som du hittar när du letar efter råd angående robots.txt-filen, kan du se att följande mappar är explicit undantagna från genomsökning (för WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Jag förstår inte riktigt anledningarna till att exkludera dessa mappar (finns det någon anledning egentligen?). Vad är din åsikt i den frågan?
WPBeginner Support
Det är främst för att förhindra att något i dessa mappar visas som ett resultat när en användare söker efter din webbplats. Eftersom det inte är ditt innehåll är det inte något de flesta vill ska visas i webbplatsens resultat.
Admin
zaid haris
Tillåt inte: /wp-admin/
Tillåt: /wp-admin/admin-ajax.php
GSC visar täckningsfelet för "Disallow: /wp-admin/". Är detta fel?
WPBeginner Support
För de flesta webbplatser vill du inte att något från din wp-admin ska visas som ett sökresultat, så det är okej och förväntat att få täckningsområdet när du nekar Google möjligheten att skanna din wp-admin.
Admin
Hansini
Jag skapar min robots.txt manuellt som du instruerade för min WordPress-sida.
Jag har en tvekan. när jag skriver User-Agent: * kommer det inte att tillåta en annan spamrobot att komma åt min webbplats?
Ska jag skriva User-Agent: * eller User-Agent: Googlebot.?
WPBeginner Support
User-Agent-raden ställer in reglerna som alla robotar ska följa på din webbplats, om du anger en specifik bot på den raden skulle det sätta regler för den specifika boten och ingen av de andra.
Admin
Nishant
Vad ska vi skriva för att få Google att indexera mitt inlägg?
WPBeginner Support
För att få din webbplats listad, vill du titta på vår artikel nedan:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Admin
Sanjeev Pandey
ska vi också neka /wp-content/themes/ ?
Den visas i sökresultatet när jag kör kommandot site:abcdef.com i Google-sökning
WPBeginner Support
Du vill inte behöva oroa dig för att blockera din temamapp och när du skriver SEO-vänligt innehåll bör du inte längre se teman som ett sökresultat.
Admin
Salem
HEJ, Vad betyder ” Disallow: /readme.html & Disallow: /refer/ ” ?
WPBeginner Support
Det betyder att du säger till sökmotorer att inte titta på några hänvisningslänkar eller readme.html-filen.
Admin
sean
Hej, vad är fördelarna och nackdelarna med att blockera wp-content/uploads
Tack
WPBeginner Support
Om du blockerar din uppladdningsmapp skulle sökmotorer normalt inte genomsöka ditt uppladdade innehåll som bilder.
Admin
Piyush
tack för att du löste mitt problem
WPBeginner Support
Varsågod
Admin
Ravi kumar
Sir, jag är väldigt förvirrad över robot.txt, många gånger har jag skickat in en webbplatskarta i Blogger men efter 3-4 dagar kommer samma problem upp, vad är exakt robot.txt.. & hur skickar jag in den, snälla guida mig
WPBeginner Support
Det beror på ditt specifika problem, du kanske vill titta på vår sida nedan:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Admin
Prem
Om jag inte indexerar en URL eller sida med robots.txt-filen, visar Google några fel i Search Console?
WPBeginner Support
Nej, Google kommer inte att lista sidan men om sidan är listad kommer den inte att visa ett fel.
Admin
Bharat
Hej
Jag har en fråga
Jag fick en varning från Google Search Console om täckningsproblem för blockerad av robots.txt
/wp-admin/widgets.php
Min fråga är, kan jag tillåta wp-admin/widgets.php i robots.txt och är det säkert?
WPBeginner Support
OM du ville kunde du det, men det är inte en fil som Google behöver genomsöka.
Admin
Anthony
Hej, jag undrar om du ska tillåta: /wp-admin/admin-ajax.php?
WPBeginner Support
Normalt sett, ja det borde du.
Admin
Jaira
Kan jag få veta varför du ska tillåta /wp-admin/admin-ajax.php?
WPBeginner Support
Den används av olika teman och plugins för att visas korrekt för sökmotorer.
Amila
Hej! Jag gillar verkligen den här artikeln och eftersom jag är nybörjare med allt detta krypnings-trams skulle jag vilja fråga något i detta avseende. Nyligen har Google krypterat och indexerat en av mina webbplatser på ett riktigt hemskt sätt, och visat sidor i sökresultaten som har raderats från webbplatsen. Webbplatsen hade inte avskräckt sökmotorer från indexering i WordPress-inställningarna från början, men det gjorde den senare efter att Google visade ytterligare 3 sidor i sökresultaten (de sidorna existerar inte heller) och jag förstår verkligen inte hur det kunde hända med alternativet "avskräck sökmotorer från indexering" påslaget. Så, kan Yoast-metoden vara till hjälp och lösa mitt problem så att Google indexerar min webbplats på rätt sätt den här gången? Tack på förhand!
WPBeginner Support
Yoast-pluginet bör kunna hjälpa till att säkerställa att de sidor du har indexeras korrekt, det finns en chans att din sida var cachad innan du avskräckte sökmotorer från att genomsöka din webbplats.
Admin
Amila
Ja, och från alla sidor cachade den de som inte längre finns. Hur som helst, eftersom den aktuella sidan är inställd på 'avskräck', är det bättre att behålla den så här tills vidare eller att avmarkera rutan och låta Google genomsöka och indexera den igen med Yoasts hjälp? Tack! Med dina artiklar blev allt enklare!
WPBeginner Support
Du vill att Google ska genomsöka din webbplats igen när den är inställd som du vill.
Pradhuman Kumar
Hej, jag älskade artikeln, väldigt precis och perfekt.
Bara en liten förslag, vänligen uppdatera bilden ROBOTS.txt-testare, eftersom Google Console har ändrats och det vore fantastiskt om du lägger till länken för att kontrollera robots.txt från Google.
WPBeginner Support
Tack för feedbacken, vi kommer definitivt att se över uppdateringen av artikeln så snart vi kan.
Admin
Kamaljeet Singh
Min blogs robots.txt-fil var:
User-Agent: *
crawl-delay: 10
Efter att ha läst det här inlägget har jag ändrat det till din rekommenderade robots.txt-fil. Är det okej att jag tog bort crawl-delay
WPBeginner Support
Det borde vara okej, crawl-delay talar om för sökmotorer att sakta ner hur snabbt de ska genomsöka din webbplats.
Admin
reena
Mycket bra beskrivet om robot.text, jag är mycket glad
u r mycket bra skribent
WPBeginner Support
Tack, glad att du gillade vår artikel
Admin
JJ
Vad är Disallow: /refer/ sida? Jag får en 404, är detta en dold wp-fil?
Redaktionell personal
Vi använder /refer/ för att omdirigera till olika affiliate-länkar på vår webbplats. Vi vill inte att dessa ska indexeras eftersom de bara är omdirigeringar och inte faktiskt innehåll.
Admin
Sagar Arakh
Tack för att du delade med dig. Detta var verkligen hjälpsamt för mig att förstå robots.txt
Jag har uppdaterat min robots.txt till den ideala som du föreslog. Jag väntar på resultaten nu
WPBeginner Support
Varsågod, glad att du är villig att använda våra rekommendationer
Admin
Akash Gogoi
Mycket hjälpsam artikel. Tack så mycket.
WPBeginner Support
Glad att vår artikel var till hjälp
Admin
Zingylancer
Tack för att du delar denna användbara information om oss.
WPBeginner Support
Glad att vi kunde dela denna information om robots.txt-filen
Admin
Jasper
tack för uppdaterad information till mig. Din artikel var bra för Robot txt. fil. Den gav mig ny information. tack och håll mig uppdaterad med nya idéer.
WPBeginner Support
Glad att vår guide var till hjälp
Admin
Imran
Tack, jag lade till robots.txt i WordPress. Mycket bra artikel
WPBeginner Support
Tack, glad att vår artikel var till hjälp
Admin