Il tuo sito WordPress ha già un file robots.txt e sta prendendo decisioni su ciò a cui i crawler dei motori di ricerca possono accedere, che tu l'abbia mai toccato o meno.
La maggior parte di queste decisioni sono innocue. Ma una singola regola scelta male può anche tenere i crawler lontani dagli URL che in realtà vuoi che scoprano.
In questa guida, ti mostreremo cosa sta facendo il tuo file robots.txt in questo momento e come modificarlo senza toccare il codice.
Ecco tutto ciò che tratteremo in questa guida:
Cos'è un file Robots.txt?
Robots.txt è un file di testo normale che indica ai bot dei motori di ricerca quali parti del tuo sito possono scansionare.
Il file si trova nella directory principale (la cartella principale) del tuo sito web. Il formato di base è simile a questo:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puoi aggiungere tutte le regole e le sitemap di cui hai bisogno. Se non disabiliti un URL, i bot presumono di poterlo scansionare.
Il tuo sito funziona bene senza un file robots.txt quando inizi un blog. Tuttavia, man mano che i tuoi contenuti crescono, questo file diventa più utile.
I motori di ricerca assegnano a ogni sito web un budget di scansione, che è il numero di pagine che scansioneranno in un dato periodo di tempo. Bloccando le pagine non importanti, aiuti i bot a spendere quel budget sui contenuti che desideri nei risultati di ricerca.
Questo è più importante per i siti di grandi dimensioni con migliaia di pagine.
Tieni presente che robots.txt aiuta a controllare la scansione, non l'indicizzazione.
- Scansione è quando i bot dei motori di ricerca (come Googlebot) visitano il tuo sito web per scoprirne i contenuti.
- Indicizzazione è quando aggiungono tali contenuti al loro enorme database di ricerca in modo che possano apparire nei risultati di ricerca.
Pensala come un bibliotecario che legge un nuovo libro (scansione) e poi lo aggiunge al catalogo della biblioteca (indicizzazione).
In altre parole, robots.txt non è nemmeno un buon modo per nascondere i contenuti perché una pagina disabilitata può ancora apparire nei risultati di ricerca se altri siti web vi linkano. Per escludere in modo affidabile una pagina da Google, usa invece un tag meta 'noindex'. Questo dice ai motori di ricerca di non elencare affatto la pagina.
Esempi e migliori pratiche di Robots.txt
Per la maggior parte dei siti WordPress, puoi mantenere il tuo file robots.txt abbastanza semplice. Ecco la configurazione di base che consigliamo:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Ecco cosa fa ogni regola:
Allow: /wp-content/uploads/consente ai motori di ricerca di scansionare le tue immagini e altri file caricati nella tua libreria multimediale di WordPress.Allow: /wp-admin/admin-ajax.phpmantiene accessibile l'handler AJAX di WordPress. Temi e plugin possono utilizzare questo file per caricare o aggiornare contenuti senza aggiornare la pagina.Disallow: /wp-admin/impedisce ai crawler di accedere alla tua area di amministrazione di WordPress, che non contiene contenuti che desideri appaiano nei risultati di ricerca.Disallow: /readme.htmlimpedisce ai crawler di accedere al filereadme.htmlpredefinito di WordPress. Questo file non è utile per i motori di ricerca, quindi c'è poco motivo per loro di scansionarlo.Disallow: /refer/impedisce ai crawler di seguire URL di affiliazione o altri URL di reindirizzamento che utilizzano il prefisso/refer/. Se il tuo sito utilizza un prefisso diverso per questi link, sostituisci/refer/con il tuo.Disallow: /?s=impedisce ai crawler di richiedere gli URL di ricerca interni di WordPress. Queste pagine generalmente non sono pagine di destinazione utili per i motori di ricerca e possono creare molti URL non necessari da scansionare.Sitemapdice ai motori di ricerca dove trovare le tue sitemap XML. Questo rende più facile per loro scoprire gli URL che desideri vengano sottoposti a scansione.
Questi sono gli stessi tipi di regole fondamentali che utilizziamo su WPBeginner. Puoi vedere il nostro file live su wpbeginner.com/robots.txt. Il nostro file di produzione contiene regole aggiuntive per un sito molto più grande, ma i principi di base sono gli stessi.
Tieni presente che l'uso del carattere jolly * si applica a tutti i crawler.
Ad esempio, questa regola impedisce a Googlebot di eseguire la scansione della cartella /private/:
User-agent: Googlebot
Disallow: /private/
I nomi comuni degli user agent includono Googlebot (Google), Bingbot (Bing) e Baiduspider (Baidu).
Come creare un file Robots.txt in WordPress
Ci sono due modi per creare un file robots.txt in WordPress. Puoi scegliere il metodo che funziona meglio per te.
Metodo 1: Modifica del file Robots.txt utilizzando All in One SEO
La maggior parte dei plugin plugin SEO WordPress gratuiti, come All in One SEO (AIOSEO), Yoast o Rank Math, ti consente di personalizzare il tuo file robots.txt direttamente dalla tua bacheca di WordPress.
Usiamo AIOSEO su WPBeginner. La versione gratuita di AIOSEO ti aiuta a convalidare la tua regola robots.txt mentre digiti, il che ti consente di individuare errori di sintassi prima che vada online.
Una volta che il plugin è attivo, vai semplicemente su All in One SEO » Strumenti nella tua bacheca di WordPress. Atterrerai sull'Editor Robots.txt. Attiva l'interruttore 'Abilita Robots.txt personalizzato' per iniziare a modificare.
L'editor mostra le regole predefinite che WordPress genera da solo.
Ora puoi aggiungere le tue regole. Inserisci uno user agent nel campo 'User Agent', oppure usa * per applicare la regola a tutti i bot.
Quindi scegli 'Consenti' o 'Non consentire' nella colonna Direttiva e digita il percorso del file o della cartella nel campo 'Valore'. Per aggiungere un'altra regola, fai clic sul pulsante 'Aggiungi regola'.
Puoi controllare il tuo file finalizzato nell'anteprima 'Anteprima Robots.txt personalizzato' in fondo allo schermo. Mostra il file completo esattamente come lo vedranno i bot.
Quando hai finito, fai clic sul pulsante 'Salva modifiche' per salvare le tue regole.
Metodo 2: Modifica manuale del file Robots.txt tramite FTP
Se preferisci modificare direttamente il tuo file robots.txt, segui questo metodo. Per modificare il file, dovrai utilizzare un client FTP o il file manager nel tuo pannello di hosting WordPress.
Prima di modificare qualsiasi cosa, scarica una copia di backup del tuo attuale file robots.txt sul tuo computer. In questo modo, puoi ripristinarlo se qualcosa va storto.
Per prima cosa, connetti il tuo client FTP al tuo sito web WordPress e trova il file robots.txt nella cartella principale del tuo sito.
Se non ne vedi uno, il tuo sito non ha ancora un file robots.txt. Puoi crearne uno proprio lì.
Robots.txt è un file di testo normale. Puoi scaricarlo, modificarlo in qualsiasi editor di testo normale come Blocco note o TextEdit, e caricarlo di nuovo nella tua cartella principale.
Come testare il tuo file Robots.txt
Dopo aver creato o modificato il tuo file robots.txt, controllalo sempre per errori. Un piccolo errore di battitura può bloccare pagine importanti dai motori di ricerca e potresti non accorgertene per settimane.
Il modo più semplice per testare il tuo file robots.txt per errori è con Google Search Console.
Innanzitutto, assicurati che il tuo sito sia connesso a Google Search Console. Se non lo è, segui la nostra guida su come aggiungere il tuo sito WordPress a Google Search Console.
Quindi vai alla dashboard di Search Console e apri Impostazioni dal menu in basso a sinistra. Trova la sezione 'Crawling' e fai clic su 'Apri report' accanto a 'robots.txt'.
Fai clic sulla versione corrente del file nell'elenco. Il report mostra l'ultimo robots.txt che Google ha trovato ed evidenzia eventuali errori di sintassi o problemi logici rilevati.
Se hai appena aggiornato il tuo file e le modifiche non vengono visualizzate, attendi un giorno e poi ricontrolla.
Domande frequenti su Robots.txt di WordPress
Ecco le domande più comuni che i lettori ci pongono sull'ottimizzazione del file robots.txt in WordPress.
1. L'uso di robots.txt può migliorare la sicurezza del mio sito?
No, robots.txt non è una misura di sicurezza. Il file è visibile pubblicamente, quindi non impedisce effettivamente a nessuno di accedere agli URL che elenchi. Fornisce semplicemente direttive per i crawler dei motori di ricerca ben educati.
2. Devo bloccare le pagine delle categorie e dei tag di WordPress in robots.txt?
No, non dovresti bloccare le pagine delle categorie e dei tag. Queste pagine di archivio contengono link interni che i crawler seguono per raggiungere i tuoi vecchi post, quindi bloccarle rimuove un percorso di scoperta per i contenuti che desideri indicizzare.
3. Qual è la differenza tra robots.txt e il tag noindex?
Controllano cose diverse. Robots.txt controlla se un crawler può visitare un URL. Il tag noindex controlla se i motori di ricerca includono una pagina nei risultati di ricerca, anche se l'hanno già visitata.
Usa robots.txt per bloccare i crawler da aree come il tuo pannello di amministrazione, l'ambiente di staging o le directory dei plugin. Usa noindex per le pagine che sei d'accordo che Google esamini, come pagine di archivio filtrate o pagine di ringraziamento, che semplicemente non vuoi che appaiano nei risultati di ricerca.
Speriamo che questo articolo ti abbia aiutato a ottimizzare il tuo file robots.txt di WordPress per la SEO. Potresti anche voler consultare la nostra guida definitiva alla SEO per WordPress e le nostre scelte esperte per i migliori strumenti SEO per WordPress per far crescere il tuo sito web.
Se ti è piaciuto questo articolo, iscriviti al nostro Canale YouTube per tutorial video su WordPress. Puoi trovarci anche su Twitter e Facebook.
Dennis Muthomi
Devo ammettere che uso il plugin AIOSEO ma ho sempre ignorato l'opzione "Abilita robots.txt personalizzato" perché non volevo combinare pasticci.
Ma ho letto questo articolo e sono convinto che valga la pena dedicare del tempo all'ottimizzazione del file robots.txt del mio sito.
Amit Banerjee
Se fosse stato fornito l'intero template di robots.txt, sarebbe stato d'aiuto.
Supporto WPBeginner
Abbiamo incluso l'intero robots.txt
Amministratore
Michael
Penso che dovresti modificare la tua risposta. Dovrebbe essere https invece di http. È giusto disabilitare anche i file dei plugin?
Supporto WPBeginner
Grazie per averlo fatto notare, il nostro esempio è stato aggiornato. Per disabilitare i plugin, dovresti verificare con il plugin specifico per essere sicuro.
Moinuddin Waheed
Grazie per questo post informativo sul file robots.txt.
Non sapevo che i siti web dovessero mantenere questo file per avere un controllo sui bot di Google su come dovrebbero scansionare le nostre pagine e i nostri post.
Per i siti web principianti che stanno appena iniziando, c'è bisogno di avere un file robots.txt o c'è un modo come un plugin che può creare un file robots.txt per il nostro sito web?
Supporto WPBeginner
La maggior parte dei plugin SEO aiuta a configurare il robots.txt per un nuovo sito per impedire ai bot di scansionare sezioni che non dovrebbero.
Amministratore
Jiří Vaněk
Grazie a questo articolo, ho controllato il file robots.txt e aggiunto gli indirizzi URL con le sitemap. Allo stesso tempo, avevo altre righe problematiche lì, che sono state rivelate dal validatore. Non ero a conoscenza delle sitemap in robots.txt fino ad ora. Grazie.
Supporto WPBeginner
Prego, siamo lieti che la nostra guida sia stata utile!
Amministratore
Stéphane
Ciao,
Grazie per quel post, diventa più chiaro come usare il file robots.txt. Sulla maggior parte dei siti web che trovi mentre cerchi consigli riguardo al file robots.txt, puoi vedere che le seguenti cartelle sono esplicitamente escluse dalla scansione (per WordPress):
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Non capisco bene le ragioni per escludere quelle cartelle (ce n'è una in realtà?). Qual è la tua opinione a riguardo?
Supporto WPBeginner
Serve principalmente a impedire che il contenuto di tali cartelle venga visualizzato nei risultati di ricerca di un utente per il tuo sito. Poiché non si tratta del tuo contenuto, non è qualcosa che la maggior parte delle persone vorrebbe che apparisse nei risultati del sito.
Amministratore
zaid haris
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
GSC mostra l'errore di copertura per “Disallow: /wp-admin/” È sbagliato?
Supporto WPBeginner
Per la maggior parte dei siti, non si desidera che nulla dalla directory wp-admin appaia nei risultati di ricerca, quindi è normale e previsto ricevere l'area di copertura quando si nega a Google la possibilità di scansionare la directory wp-admin.
Amministratore
Hansini
Sto creando il mio robots.txt manualmente come mi hai istruito per il mio sito WordPress.
Ho un dubbio. quando scrivo User-Agent: * non permetterà a un altro robot spam di accedere al mio sito?
Devo scrivere User-Agent: * o User-Agent: Googlebot.?
Supporto WPBeginner
La riga User-Agent imposta le regole che tutti i robot dovrebbero seguire sul tuo sito; se specifichi un bot specifico su quella riga, imposteresti le regole per quel bot specifico e nessun altro.
Amministratore
Nishant
Cosa dovremmo scrivere per far indicizzare i miei post da Google?
Supporto WPBeginner
Per far elencare il tuo sito, dovresti dare un'occhiata al nostro articolo qui sotto:
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
Amministratore
Sanjeev Pandey
dovremmo anche disallow /wp-content/themes/ ?
Appare nei risultati di ricerca quando eseguo il comando site:abcdef.com in Google Search
Supporto WPBeginner
Non dovresti preoccuparti di bloccare la cartella dei temi e, poiché scrivi contenuti ottimizzati per la SEO, non dovresti più vedere i temi come risultato di ricerca.
Amministratore
Salem
CIAO, Cosa significa ” Disallow: /readme.html & Disallow: /refer/ ” ?
Supporto WPBeginner
Ciò significa che stai dicendo ai motori di ricerca di non guardare alcun link di riferimento o il file readme.html.
Amministratore
sean
Ciao, quali sono i pro e i contro di bloccare wp-content/uploads
Grazie
Supporto WPBeginner
Se blocchi la tua cartella di caricamenti, i motori di ricerca normalmente non eseguirebbero la scansione dei tuoi contenuti caricati come le immagini.
Amministratore
Piyush
grazie per aver risolto il mio problema
Supporto WPBeginner
Prego
Amministratore
Ravi kumar
Signore, sono molto confuso riguardo a robot.txt. Molte volte ho inviato la sitemap in Blogger ma dopo 3-4 giorni si ripresenta lo stesso problema. Cos'è esattamente robot.txt? E come si invia, per favore guidami.
Supporto WPBeginner
Dipenderebbe dal tuo problema specifico, potresti voler dare un'occhiata alla nostra pagina qui sotto:
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
Amministratore
Prem
Se non indicizzo un URL o una pagina usando il file robots.txt, Google mostra qualche errore nella Search Console?
Supporto WPBeginner
No, Google non elencherà la pagina ma se la pagina è elencata non mostrerà un errore.
Amministratore
Bharat
Ciao
Ho una domanda
Ricevo un avviso di problema di copertura da Google Search Console per bloccato da robots.txt
/wp-admin/widgets.php
La mia domanda è, posso consentire a wp-admin/widgets.php nel robots.txt e questo è sicuro?
Supporto WPBeginner
Se volessi, puoi farlo, ma non è un file che Google deve scansionare.
Amministratore
Anthony
Ciao, mi stavo chiedendo se dovresti consentire: /wp-admin/admin-ajax.php?
Supporto WPBeginner
Normalmente, sì, dovresti.
Amministratore
Jaira
Posso sapere perché dovresti consentire /wp-admin/admin-ajax.php?
Supporto WPBeginner
Viene utilizzato da diversi temi e plugin per apparire correttamente ai motori di ricerca.
Amila
Ciao! Mi piace molto questo articolo e dato che sono un principiante con tutte queste cose sul crawling, vorrei chiedere qualcosa a riguardo. Recentemente, Google ha eseguito il crawling e indicizzato uno dei miei siti web in modo davvero terribile, mostrando nelle ricerche pagine che sono state cancellate dal sito web. Il sito web non aveva scoraggiato i motori di ricerca dall'indicizzazione nelle impostazioni di WordPress all'inizio, ma lo ha fatto in seguito dopo che Google ha mostrato altre 3 pagine nei risultati di ricerca (anche quelle pagine non esistono) e non capisco davvero come sia potuto succedere con l'opzione "scoraggia i motori di ricerca dall'indicizzazione" attiva. Quindi, il metodo Yoast può essere utile e fornire una soluzione per il mio sito web affinché Google indicizzi il mio sito web nel modo appropriato questa volta? Grazie in anticipo!
Supporto WPBeginner
Il plugin Yoast dovrebbe essere in grado di aiutarti ad assicurarti che le pagine che hai vengano indicizzate correttamente, c'è la possibilità che prima che tu scoraggiassi i motori di ricerca dal crawling del tuo sito, la tua pagina fosse nella cache.
Amministratore
Amila
Beh sì e da tutte le pagine, ha messo in cache quelle che non esistono più. Comunque, dato che la pagina attuale è impostata su "scoraggia", è meglio lasciarla così per ora o deselezionare la casella e lasciare che Google la esegua nuovamente il crawling e la indicizzi con l'aiuto di Yoast? Grazie! Con i tuoi articoli, tutto è diventato più facile!
Supporto WPBeginner
Vorresti che Google scansionasse nuovamente il tuo sito una volta che è configurato come desideri.
Pradhuman Kumar
Ciao, ho adorato l'articolo, molto preciso e perfetto.
Solo un piccolo suggerimento, per favore aggiorna l'immagine ROBOTS.txt tester, poiché la Google Console è cambiata e sarebbe fantastico se aggiungessi il link per controllare il robots.txt da Google.
Supporto WPBeginner
Grazie per il feedback, ci assicureremo di aggiornare l'articolo non appena possibile.
Amministratore
Kamaljeet Singh
Il file robots.txt del mio blog era:
User-Agent: *
crawl-delay: 10
Dopo aver letto questo post, l'ho cambiato nel tuo file robots.txt consigliato. Va bene se ho rimosso crawl-delay?
Supporto WPBeginner
Dovrebbe andare bene, crawl-delay dice ai motori di ricerca di rallentare la velocità di scansione del tuo sito.
Amministratore
reena
Molto ben descritto riguardo al robot.text, sono molto felice
sei un ottimo scrittore
Supporto WPBeginner
Grazie, siamo lieti che ti sia piaciuto il nostro articolo
Amministratore
JJ
Cos'è la pagina Disallow: /refer/ ? Ottengo un 404, è un file wp nascosto?
Staff editoriale
Usiamo /refer/ per reindirizzare a vari link di affiliazione sul nostro sito web. Non vogliamo che vengano indicizzati poiché sono solo reindirizzamenti e non contenuti effettivi.
Amministratore
Sagar Arakh
Grazie per aver condiviso. Questo mi è stato davvero utile per capire robots.txt
Ho aggiornato il mio robots.txt a quello ideale che hai suggerito. Ora attenderò i risultati.
Supporto WPBeginner
Prego, sono lieto che tu sia disposto a utilizzare i nostri consigli
Amministratore
Akash Gogoi
Articolo molto utile. Grazie mille.
Supporto WPBeginner
Siamo lieti che il nostro articolo sia stato utile
Amministratore
Zingylancer
Grazie per aver condiviso queste informazioni utili su di noi.
Supporto WPBeginner
Siamo lieti di aver potuto condividere queste informazioni sul file robots.txt
Amministratore
Jasper
grazie per avermi aggiornato. Il tuo articolo era buono per il file Robot txt. Mi ha dato una nuova informazione. grazie e tienimi aggiornato con nuove idee.
Supporto WPBeginner
Siamo lieti che la nostra guida sia stata utile
Amministratore
Imran
Grazie, ho aggiunto robots.txt in WordPress. Articolo molto buono
Supporto WPBeginner
Grazie, siamo lieti che il nostro articolo sia stato utile
Amministratore