Hur man åtgärdar problemet med SEO-krypteringsbudget i WordPress

Genomsökningsbudget är gränsen som Google sätter för hur många sidor den kommer att genomsöka på din webbplats.

Förutom dina inlägg och sidor genererar WordPress flera extra URL:er som sökmotorer kan genomsöka och indexera. Detta innebär att Google kan spendera din genomsökningsbudget på onödiga sidor istället för ditt viktiga innehåll.

I den här artikeln visar vi dig hur du optimerar din genomsökningsbudget i WordPress, så att Google hittar ditt viktiga innehåll först.

Snabbt svar: Hur man åtgärdar genomsökningsbudget i WordPress

Att blockera onödiga URL:er med ditt SEO-plugins genomsökningsrensning eller robots.txt säkerställer att din genomsökningsbudget inte slösas bort.

De flesta små webbplatser kommer kanske aldrig att få slut på genomsökningsbudget. WordPress skapar dock många fler URL:er än du publicerar. Google kan sluta med att slösa genomsökningsbudget på dessa URL:er, och dina viktiga sidor kanske inte genomsöks snabbt eller ofta.

Använd snabblänkarna nedan för att hoppa direkt till den lösning du behöver:

Vad är krypbudget och hur kontrollerar du den?

Genomsökningsbudget är antalet sidor som en sökmotor som Google kommer att genomsöka på din webbplats inom en viss tidsperiod. Det finns två huvudfaktorer:

• Krypkapacitet: Hur många förfrågningar Google kan göra utan att krascha eller sakta ner din server. Om din server är snabb och pålitlig är din kapacitet hög.
• Krypbehov: Hur mycket Google vill krypa på din webbplats baserat på dess popularitet, övergripande kvalitet och hur ofta du publicerar nytt innehåll.

När sidor med lågt värde eller långsamma servrar slukar din krypbudget, kryper Google mindre och det tar längre tid att indexera ditt nya innehåll.

Det är värt att ta en stund att granska din rapport över krypstatistik i Google Search Console. Den talar om när och hur ofta Googlebot besöker din webbplats. Öppna helt enkelt Google Search Console och gå till Inställningar » Krypstatistik » Öppna rapport för att visa den.

När du väl är i rapporten delar Google upp krypningsförfrågningar på fyra sätt. Här är vad var och en visar:

• Efter svar. Hur din server svarade på varje förfrågan, inklusive 'OK (200)', 'Hittades inte (404)', omdirigeringar och serverfel (5XX).
• Efter filtyp. Vad Googlebot laddade ner, inklusive HTML-sidor, bilder, CSS och JavaScript.
• Efter syfte. 'Upptäckt' betyder att Google kryper en URL för första gången, medan 'Uppdatering' betyder att den kryper om sidor den redan känner till.
• Efter Googlebot-typ. Visar vilken crawler som gjorde förfrågan. En hög andel 'Smartphone' är normalt, eftersom Google mestadels kryper mobilversionen av din webbplats.

Klicka på valfri rad i dessa rapporter för att se specifika URL:er och deras individuella krypstatistik. Dessa data kommer också att visa dig exakt vilka åtgärder din webbplats behöver:

• En stor del av svaren ‘Hittades inte (404)’ eller ‘Serverfel (5XX)’ innebär att döda URL:er förbrukar förfrågningar. Du kan lösa detta genom att rensa dina omdirigeringskedjor och fixa trasiga länkar.
• Ett högt antal 'Syndikering' betyder att Google spenderar förfrågningar på flöden istället för ditt innehåll. Du kan enkelt stoppa detta slöseri genom att blockera dessa onödiga URL:er.
• Om din krypstatistik för 'Upptäckt' förblir hög även när du inte publicerar nytt innehåll, slösar Google troligen tid på automatiskt genererade URL:er, som sorterings- och filter-sidor. Du kan stoppa detta genom att tillämpa samma robots.txt-blockeringsregler.
• Långa genomsnittliga svarstider eller upprepade serverfel begränsar hela din budget. Detta är ett tydligt tecken på att det är dags att snabba upp din server.

Kontrollera slutligen metriken 'Upptäckta – för närvarande inte indexerade' i din rapport om sidindexering. Google använder detta när det fördröjer en krypning för att undvika att krascha din server. Ett högt antal här är en direkt indikator på att din webbplats krypning är begränsad.

Blockera URL:er som slösar bort genomsökning med robots.txt eller ditt SEO-plugin

Det mesta av den slösade krypbudgeten kommer från URL:er som WordPress och dina plugins genererar automatiskt, inte från artiklarna du skriver.

Dessa onödiga URL:er inkluderar flöden, länkar för kommentarssvar, interna sökresultat, spårningsparametrar från dina kampanjer och annonser, samt WooCommerce-filterparametrar.

Innan du börjar neka URL:er, tänk på två saker:

• Förbjud aldrig CSS eller JS. Google behöver ladda dessa filer för att visa dina sidor korrekt.
• Blockera inte en URL som du planerar att noindexa. En noindex-tagg ber Google att hålla en sida utanför sökresultaten. Dock måste Google genomsöka WordPress-sidan för att se den taggen, så att blockera URL:en i robots.txt innebär att Google aldrig läser den.

Skriv dina robots.txt-regler manuellt

Fliken robots.txt är en vanlig textfil som ligger i roten av din webbplats. Den talar om för sökmotorernas bottar vilka URL:er de inte bör besöka.

Du kan redigera din robots.txt-fil manuellt via ditt värdkonto. Att använda den inbyggda redigeraren i din SEO-plugin är dock mycket enklare.

Till exempel, i All in One SEO hittar du den under All in One SEO » Verktyg » Robots.txt-redigerare.

Andra populära plugins som Yoast SEO och Rank Math erbjuder liknande robots.txt-redigerare.

Börja med att identifiera URL-mönster som du inte vill ska genomsökas, som /?s= för intern sökning, ?replytocom= tillagd till inläggs-URL:er för kommentarssvarslänkar och /feed/ för RSS-flöden.

Innan du blockerar dina RSS-flöden, se till att du inte behöver dem för en podcast, ett automatiserat e-postnyhetsbrev eller flödesläsare. När du vet att de inte används, lägg till en Disallow-regel för var och en.

User-agent: *
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /*/feed/

När du har sparat dina regler, verifiera dem med Google Search Consoles robots.txt-rapport innan du går vidare.

Bekräfta att dina nya Disallow-regler visas där utan att några syntaxfel flaggas.

Konfigurera genomsökningsrensning i ditt SEO-plugin

Om du hellre inte vill skriva robots.txt-regler för hand, kan din SEO-plugins inställningar för rensning av genomsökning göra samma jobb med enkla reglage.

Om du använder AIOSEO hittar du det under All in One SEO » Sökutseende » Avancerat. Aktivera sedan ‘Crawl Cleanup’. Verktyget Crawl Cleanup låter dig inaktivera onödiga RSS-flöden (som de som WordPress automatiskt genererar för kommentarer, författare och bilagor), blockera oönskade bottar och stoppa genomsökning av interna sök-URL:er.

Se till att du behåller ditt huvudsakliga webbplatsflöde. Det är därför AIOSEO markerar det som ‘rekommenderas inte att inaktivera’.

Yoast SEO har samma funktionalitet under Yoast SEO » Inställningar » Avancerat » Crawl optimization, med egna alternativ för borttagning av flöden och rensning av URL-parametrar.

När du har aktiverat dessa alternativ, kontrollera din robots.txt-fil för att bekräfta att de nya reglerna faktiskt är aktiva.

Hur man hanterar spårningsparametrar

E-postkampanjer, annonser och marknadsföringsverktyg lägger ofta till spårningsparametrar till dina URL:er (som utm_source, fbclid eller gclid) för att se var besökare kommer ifrån.

AIOSEOs Query Arg Monitoring visar dig vilka av dessa frågeargument (de extra värdena efter ett frågetecken i en URL) som Googlebot faktiskt genomsöker. Du hittar det längst ner på samma ‘Avancerat’-skärm i AIOSEO.

I de flesta fall behöver du inte blockera eller omdirigera spårningslänkar.

Medan AIOSEO erbjuder en 'Optimera UTM-parametrar'-växel som skriver om dessa länkar via omdirigeringar, rekommenderar vi starkt att du lämnar den avstängd så att du inte av misstag bryter spårningsdata.

Men om du upptäcker frågeargument i din övervakning som absolut inte tjänar något syfte, kan du säkert lägga till dem i blocklistan i det här avsnittet. Avancerade användare kan också använda Regex (reguljära uttryck) för att blockera flera liknande URL:er samtidigt.

Rensa WooCommerce filter- och varukorgs-URL:er

WooCommerce-butiker lägger till sina egna krypningsslösande parametrar ovanpå allt ovanstående, främst orderby=, filter_, min_price= och max_price=, och add-to-cart=.

Du kan blockera de utan sökresultatvärde med samma robots.txt-metod, eller lägga till dem som frågeargument i Query Arg Monitoring från avsnittet ovan.

Att blockera add-to-cart= är säkert eftersom det utlöser en åtgärd snarare än att leverera unikt innehåll.

Gör detsamma för sorterings- och prisintervallfilter, med ett undantag – ett filter som tjänar sökningstrafik på egen hand, som en enskild populär storlek eller färg.

Avindexera tunt innehåll – Taggar, datum och arkiv för författare

Avindexering innebär att ta bort en sida från Googles sökresultat. Du gör det genom att lägga till en noindex-tagg, som ber sökmotorer att inte visa den sidan när folk söker.

WordPress skapar automatiskt arkivsidor som grupperar dina inlägg efter tagg, datum och författare. Dessa arkiv upprepar mestadels innehåll som redan finns på din webbplats, vilket är anledningen till att SEO-experter kallar dem 'tunna' sidor.

Här är fyra arkivtyper som vanligtvis är säkra att noindexera:

• Författararkiv, om din webbplats har en enda författare
• Taggararkiv som inte fungerar som riktiga landningssidor
• Datumarkiv, som sällan har något sökresultatvärde på egen hand
• Bilagesidor, som äldre WordPress-webbplatser skapar för varje uppladdad bild (WordPress 6.4 slutade skapa dem för nya installationer i november 2023)

Du kan ställa in var och en av arkivtyperna att noindexera från din SEO-plugins arkivinställningar. De flesta WordPress SEO-plugins inkluderar denna inställning i sina gratisversioner.

I AIOSEO hittar du den under All in One SEO » Sökutseende » Arkiv.

Innan du sparar, dubbelkolla att du inte av misstag har noindexerat en viktig sida, eller en hel inläggstyp.

Håll din XML-webbplatskarta ren

Din XML-webbplatskarta talar om för Google vilka URL:er du anser vara viktiga och färska. Genom att hålla din webbplatskarta fri från skräp ser du till att sökmotorer fokuserar på ditt mest värdefulla innehåll istället för att slösa tid på sidnumrerade arkiv.

Som standard skapar WordPress en XML-webbplatskarta för din webbplats. För mer kontroll rekommenderar vi att generera en anpassad webbplatskarta med en SEO-plugin.

En anpassad webbplatskarta lägger till senast ändrade datum och tar bort sidorna som du har ställt in att noindexera från den. AIOSEO, Yoast SEO och Rank Math gör det möjligt för dig att skapa en webbplatskarta i deras gratisversioner.

Åtgärda genomsökningsfel och omdirigeringskedjor

Döda och omdirigerade URL:er kostar fortfarande dina krypningsförfrågningar eftersom Google bara får reda på att en URL är död genom att hämta den. På en typisk WordPress-webbplats kommer dessa slösade krypningsförfrågningar vanligtvis från tre huvudorsaker:

• Omdirigeringskedjor. Detta inträffar när URL A omdirigerar till B, som sedan omdirigerar till C. För att åtgärda detta, kollapsa kedjan genom att dirigera den ursprungliga URL:en direkt till den slutliga destinationen med en enda 301 (permanent) omdirigering.
• Mjukvaru-404-fel. Detta inträffar när en sida tas bort, men din server fortfarande returnerar en normal "200 OK"-framgångskod. Google kommer att fortsätta att genomsöka URL:en eftersom servern inte uttryckligen har sagt att innehållet är borta. Du kan åtgärda detta genom att säkerställa att borttagna sidor returnerar en korrekt 404 (Hittades ej) eller 410 (Borta) statuskod.
• Föråldrade interna länkar. Varje gång Google följer en intern länk som leder till en trasig sida eller en omdirigering, bränner den upp din genomsökningsbudget. Du bör regelbundet granska dina interna länkar och antingen ta bort dem eller uppdatera dem för att peka direkt till den levande, slutliga URL:en.

Du kan också läsa vår guide om hur man skapar en omdirigering i WordPress, som guidar dig genom hela processen.

Snabba upp din server för att öka din genomsökningsfrekvens

En snabb server uppmuntrar Google att genomsöka fler sidor, medan en kämpande server tvingar den att backa. För att förbättra dina svarstider behöver du två saker: robust WordPress-hosting och en aktiv cachningskonfiguration.

Serverfel kan dock skada din genomsökningsbudget ännu mer än din sidhastighet. Om Googlebot ofta drabbas av tidsgränser, minskar den drastiskt genomsökningen och är långsam att återhämta sig.

Du kan övervaka svarstider och serverfel i Google Search Consoles rapport om genomsökningsstatistik. Fel orsakas vanligtvis av en fullbokad hostingplan eller ett felaktigt plugin.

Se vår guide för att åtgärda 500 interna serverfel för hjälp med felloggar och hostinggränser.

Blockera AI-crawlers som slösar bort dina serverresurser

AI-genomsökare som GPTBot, ClaudeBot och PerplexityBot använder inte din Google-genomsökningsbudget. De träffar dock samma server, och aggressiv skrapning kan sakta ner din webbplats tillräckligt för att dra ner din Google-genomsökningshastighet med den.

Den snabbaste lösningen för att åtgärda detta problem är genomsökningsrensning som medföljer de flesta SEO-plugins. AIOSEO:s Crawl Cleanup inkluderar bot-blockeringsinställningar som stoppar oönskade AI-bots på WordPress-nivå.

För starkare skydd låter Cloudflares kostnadsfria AI Crawl Control dig blockera enskilda genomsökare från fliken Crawlers. Den blockerar genomsökare innan de ens når din hosting-server.

Använd dock försiktighet när du konfigurerar din blocklista. Många av dessa 'bots' kan vara AI-sökassistenter som driver trafik till din webbplats, så att blockera dem urskillningslöst kommer att skada din totala synlighet.

Vanliga frågor om WordPress genomsökningsbudget

Här är frågorna vi får oftast om genomsökningsbudget.

Kan du ställa in eller öka din genomsökningsbudget?

Det finns inget fast nummer som du kan ställa in. Du kan öka din genomsökningskapacitet med en snabbare, mer pålitlig server, och du kan öka genomsökningskravet med färskt, icke-duplicerat innehåll som Google faktiskt vill återbesöka.

Hur slutar jag att Google genomsöker /feed/ URL:er som visas som duplicerade i Search Console?

Inaktivera de redundanta flödena med AIOSEO:s Crawl Cleanup, eller lägg till en Disallow-regel för dina feed-URL:er i din robots.txt. Det innehållet är redan indexerat någon annanstans på din webbplats, så att blockera flödena kostar dig ingenting i form av organisk trafik.

Sparar noindex-taggen genomsökningsbudget?

Inte direkt, eftersom Google fortfarande måste genomsöka sidan för att se taggen. Stoppa istället Google från att genomsöka via en robots.txt-fil.

Kommer en anpassad 404-sida med användbara länkar att förbättra min genomsökningsbudget?

Nej, det förbättrar dock användarupplevelsen. För att säkerställa att genomsökningsbudgeten inte slösas bort, se till att din server skickar rätt 404- eller 410-statuskod för en sida som inte längre finns.

Vi hoppas att den här artikeln hjälpte dig att hitta och åtgärda det som slösar bort din genomsökningsbudget. Ge ändringarna några veckor, kontrollera sedan Crawl Stats igen för att se förbättringen.

Du kanske också vill läsa vår ultimata WordPress SEO-guide eller hur du stoppar sökmotorer från att genomsöka en WordPress-webbplats.

Om du gillade den här artikeln, prenumerera gärna på vår YouTube-kanal för WordPress-videoguider. Du kan också hitta oss på Twitter och Facebook.