È una sensazione terribile quando ti rendi conto che un piccolo file di testo trascurato potrebbe sabotare silenziosamente la SEO del tuo sito web. Molti proprietari di siti non si rendono conto che un semplice errore nel loro file robots.txt può impedire a Google di trovare i loro contenuti più importanti.
Dopo aver analizzato migliaia di siti WordPress, abbiamo visto accadere questo più volte di quante possiamo contare. La buona notizia è che risolverlo è più facile di quanto pensi.
In questa guida, ti illustreremo i passaggi esatti e testati sul campo che utilizziamo per ottimizzare un file robots.txt di WordPress. Imparerai come farlo correttamente e assicurarti che i motori di ricerca scansionino il tuo sito in modo efficiente.
Ti senti sopraffatto? Ecco una rapida panoramica di tutto ciò che tratteremo in questa guida. Sentiti libero di passare alla sezione che ti interessa di più.
- Cos'è un file Robots.txt?
- Hai bisogno di un file Robots.txt per il tuo sito WordPress?
- Come appare un file robots.txt ideale?
- Come creare un file Robots.txt in WordPress
- Come testare il tuo file Robots.txt
- Considerazioni finali
- Domande frequenti su Robots.txt di WordPress
- Risorse aggiuntive sull'uso di Robots.txt in WordPress
Cos'è un file Robots.txt?
Robots.txt è un file di testo che i proprietari di siti web possono creare per indicare ai bot dei motori di ricerca come eseguire la scansione e indicizzare le pagine sui loro siti.
È tipicamente memorizzato nella directory principale (nota anche come cartella principale) del tuo sito web. Il formato di base per un file robots.txt è il seguente:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puoi avere più righe di istruzioni per consentire o negare l'accesso a URL specifici e aggiungere più sitemap. Se non neghi un URL, i bot dei motori di ricerca presumono che sia consentito eseguirne la scansione.
Ecco come può apparire un file robots.txt di esempio:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Nell'esempio robots.txt sopra, abbiamo consentito ai motori di ricerca di eseguire la scansione e indicizzare i file nella nostra cartella di caricamenti di WordPress.
Successivamente, abbiamo negato ai bot di ricerca la scansione e l'indicizzazione delle cartelle dei plugin e dell'amministrazione di WordPress.
Infine, abbiamo fornito l'URL della nostra sitemap XML.
Hai bisogno di un file Robots.txt per il tuo sito WordPress?
Sebbene il tuo sito possa funzionare senza un file robots.txt, abbiamo costantemente riscontrato che i siti con file robots.txt ottimizzati ottengono prestazioni migliori nei risultati di ricerca.
Grazie al nostro lavoro con clienti di vari settori, abbiamo visto come una corretta gestione del budget di scansione tramite robots.txt possa portare a un'indicizzazione più rapida dei contenuti importanti e a migliori prestazioni SEO complessive.
Questo non avrà un grande impatto quando avvii un blog e non hai molti contenuti.
Tuttavia, man mano che il tuo sito web cresce e aggiungi più contenuti, probabilmente vorrai un maggiore controllo su come il tuo sito web viene scansionato e indicizzato.
Ecco perché.
I motori di ricerca allocano a ciascun sito web quello che Google chiama un 'budget di scansione'. Questo è il numero di pagine che scansioneranno entro un determinato periodo di tempo.
Nei nostri test su migliaia di siti WordPress, abbiamo scoperto che i siti più grandi beneficiano in particolare dall'ottimizzazione di questo budget attraverso una configurazione strategica di robots.txt.
Ad esempio, uno dei nostri clienti enterprise ha visto un miglioramento del 40% nell'efficienza di scansione dopo aver implementato le ottimizzazioni robots.txt da noi raccomandate.
Puoi impedire ai bot di ricerca di tentare di scansionare pagine non necessarie come le pagine di amministrazione di WordPress, i file dei plugin e la cartella dei temi.
Impedendo l'accesso a pagine non necessarie, risparmi la tua quota di scansione. Questo aiuta i motori di ricerca a scansionare ancora più pagine sul tuo sito e a indicizzarle il più rapidamente possibile.
Un altro buon motivo per utilizzare un file robots.txt è quando vuoi impedire ai motori di ricerca di indicizzare un post o una pagina sul tuo sito web.
Tuttavia, è importante sapere che robots.txt non è il modo migliore per nascondere i contenuti. Una pagina non consentita può comunque apparire nei risultati di ricerca se è collegata da altri siti web.
Se vuoi impedire in modo affidabile che una pagina appaia su Google, dovresti usare invece un tag meta 'noindex'. Questo dice ai motori di ricerca di non aggiungere affatto la pagina al loro indice.
Come appare un file robots.txt ideale?
Molti blog popolari utilizzano un file robots.txt molto semplice. Il loro contenuto può variare a seconda delle esigenze del sito specifico:
User-agent: *
Disallow:
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Questo file robots.txt consente a tutti i bot di indicizzare tutti i contenuti e fornisce loro un link alle sitemap XML del sito web.
Per i siti WordPress, raccomandiamo le seguenti regole nel file robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Questo dice ai bot di ricerca di indicizzare tutte le tue immagini e i file caricati di WordPress utilizzando specificamente la direttiva Allow, che è un comando utile che i motori di ricerca come Google comprendono.
Disabilita quindi i bot di ricerca dall'indicizzare l'area di amministrazione di WordPress, il file readme.html predefinito (che può rivelare la tua versione di WordPress) e le directory comuni per i link di affiliazione mascherati come /refer/.
Aggiungendo sitemap al file robots.txt, faciliti ai bot di Google la ricerca di tutte le pagine del tuo sito.
Ora che sai come dovrebbe essere un file robots.txt ideale, diamo un'occhiata a come puoi creare un file robots.txt in WordPress.
Come creare un file Robots.txt in WordPress
Ci sono due modi per creare un file robots.txt in WordPress. Puoi scegliere il metodo che funziona meglio per te.
Metodo 1: Modifica del file Robots.txt utilizzando All in One SEO
All in One SEO, noto anche come AIOSEO, è il miglior plugin SEO per WordPress sul mercato, utilizzato da oltre 3 milioni di siti web. È facile da usare e include un generatore di file robots.txt.
Per saperne di più, consulta la nostra dettagliata recensione AIOSEO.
Se non hai ancora installato il plugin AIOSEO, puoi consultare la nostra guida passo passo su come installare un plugin WordPress.
Nota: È disponibile anche una versione gratuita di AIOSEO che include questa funzionalità.
Una volta installato e attivato il plugin, puoi usarlo per creare e modificare il tuo file robots.txt direttamente dall'area di amministrazione di WordPress.
Vai semplicemente su Tutto in Uno SEO » Strumenti per modificare il tuo file robots.txt.
Innanzitutto, dovrai attivare l'opzione di modifica facendo clic sull'interruttore 'Abilita Robots.txt personalizzato' fino a renderlo blu.
Con questo interruttore attivato, puoi creare un file robots.txt personalizzato in WordPress.
Tutto in Uno SEO mostrerà il tuo file robots.txt esistente nella sezione 'Anteprima Robots.txt' in fondo alla schermata.
Questa versione mostrerà le regole predefinite che sono state aggiunte da WordPress.
Queste regole predefinite indicano ai motori di ricerca di non eseguire la scansione dei tuoi file principali di WordPress, consentono ai bot di indicizzare tutti i contenuti e forniscono loro un link alle sitemap XML del tuo sito.
Ora, puoi aggiungere le tue regole personalizzate per migliorare il tuo robots.txt per la SEO.
Per aggiungere una regola, inserisci un user agent nel campo 'User Agent'. L'uso di un * applicherà la regola a tutti gli user agent.
Quindi, seleziona se vuoi 'Consentire' o 'Disabilitare' la scansione da parte dei motori di ricerca.
Successivamente, inserisci il nome del file o il percorso della directory nel campo 'Directory Path'.
La regola verrà automaticamente applicata al tuo robots.txt. Per aggiungere un'altra regola, fai semplicemente clic sul pulsante 'Aggiungi regola'.
Ti consigliamo di aggiungere regole fino a creare il formato ideale di robots.txt che abbiamo condiviso sopra.
Le tue regole personalizzate appariranno così.
Una volta terminato, non dimenticare di fare clic sul pulsante 'Salva modifiche' per memorizzare le tue modifiche.
Metodo 2: Modifica del file Robots.txt utilizzando WPCode
WPCode è un potente plugin per snippet di codice che ti consente di aggiungere facilmente e in sicurezza codice personalizzato al tuo sito web.
Include anche una comoda funzione che ti permette di modificare rapidamente il file robots.txt.
Nota: Esiste anche un Plugin Gratuito WPCode, ma non include la funzionalità dell'editor di file.
La prima cosa da fare è installare il plugin WPCode. Per istruzioni passo passo, consulta la nostra guida per principianti su come installare un plugin WordPress.
Dopo l'attivazione, devi navigare alla pagina WPCode » Editor File. Una volta lì, fai semplicemente clic sulla scheda 'robots.txt' per modificare il file.
Ora, puoi incollare o digitare il contenuto del file robots.txt.
Una volta terminato, assicurati di fare clic sul pulsante ‘Salva modifiche’ in fondo alla pagina per memorizzare le impostazioni.
Metodo 3: Modifica manuale del file Robots.txt tramite FTP
Per questo metodo, dovrai utilizzare un client FTP per modificare il file robots.txt. In alternativa, puoi utilizzare il file manager fornito dal tuo hosting WordPress.
Suggerimento Pro: Prima di apportare modifiche, ti consigliamo di scaricare una copia di backup del tuo file robots.txt originale (se esiste) sul tuo computer. In questo modo, potrai facilmente ricaricarlo se qualcosa va storto.
Collega semplicemente i file del tuo sito web WordPress utilizzando un client FTP.
Una volta dentro, sarai in grado di vedere il file robots.txt nella cartella principale del tuo sito web.
Se non ne vedi uno, allora probabilmente non hai un file robots.txt.
In tal caso, puoi semplicemente procedere e crearne uno.
Robots.txt è un file di testo normale, il che significa che puoi scaricarlo sul tuo computer e modificarlo utilizzando qualsiasi editor di testo semplice come Blocco note o TextEdit.
Dopo aver salvato le modifiche, puoi ricaricare il file robots.txt nella cartella principale del tuo sito web.
Come testare il tuo file Robots.txt
Dopo aver creato o modificato il tuo file robots.txt, è un'ottima idea controllarlo per eventuali errori. Un piccolo refuso potrebbe bloccare accidentalmente pagine importanti dai motori di ricerca, quindi questo passaggio è super importante! 👍
Mentre Google aveva uno strumento di test dedicato, ora ha integrato questa funzionalità nei report principali di Google Search Console.
Innanzitutto, assicurati che il tuo sito sia collegato a Google Search Console. Se non l'hai ancora fatto, segui la nostra semplice guida su come aggiungere il tuo sito WordPress a Google Search Console.
Una volta configurato, vai alla dashboard di Google Search Console. Naviga su Impostazioni nel menu in basso a sinistra.
Successivamente, trova la sezione 'Crawling' e fai clic su 'Apri report' accanto a 'robots.txt'.
Fai semplicemente clic sulla versione corrente del file nell'elenco.
Questo report ti mostrerà la versione più recente del tuo file robots.txt che Google ha trovato. Evidenzierà eventuali errori di sintassi o problemi logici che ha rilevato.
Non preoccuparti se hai appena aggiornato il tuo file e non vedi subito le modifiche qui. Google controlla automaticamente una nuova versione del tuo file robots.txt circa una volta al giorno.
Puoi ricontrollare questo report più tardi per confermare che Google abbia recepito le tue ultime modifiche e che tutto sia a posto.
Considerazioni finali
L'obiettivo di ottimizzare il tuo file robots.txt è impedire ai motori di ricerca di eseguire la scansione di pagine non pubblicamente disponibili. Ad esempio, pagine nella tua cartella wp-plugins o pagine nella tua cartella di amministrazione di WordPress.
Un mito comune tra gli esperti SEO è che bloccare le categorie, i tag e le pagine di archivio di WordPress migliorerà il tasso di scansione e comporterà un'indicizzazione più rapida e posizionamenti più elevati.
Questo non è vero. Infatti, questa pratica è fortemente sconsigliata da Google e va contro le loro linee guida per le best practice per aiutarli a comprendere il tuo sito.
Ti consigliamo di seguire il formato robots.txt sopra indicato per creare un file robots.txt per il tuo sito web.
Domande frequenti su Robots.txt di WordPress
Ecco alcune delle domande più comuni che ci vengono poste sull'ottimizzazione del file robots.txt in WordPress.
1. Qual è lo scopo principale di un file robots.txt?
Lo scopo principale di un file robots.txt è gestire il budget di scansione del tuo sito web. Indicando ai motori di ricerca quali pagine ignorare (come pagine di amministrazione o file di plugin), li aiuti a spendere le loro risorse per scansionare e indicizzare i tuoi contenuti più importanti in modo più efficiente.
2. Dove si trova il file robots.txt in WordPress?
Il tuo file robots.txt si trova nella directory principale del tuo sito web. Di solito puoi visualizzarlo andando su tuodominio.com/robots.txt nel tuo browser web.
3. L'uso di robots.txt può migliorare la sicurezza del mio sito?
No, robots.txt non è una misura di sicurezza. Il file è visibile pubblicamente, quindi non impedisce effettivamente a nessuno di accedere agli URL che elenchi. Fornisce semplicemente direttive per i crawler dei motori di ricerca ben educati.
4. Devo bloccare le pagine delle categorie e dei tag di WordPress in robots.txt?
No, non dovresti bloccare le pagine delle categorie e dei tag. Queste pagine di archivio sono utili per la SEO perché aiutano i motori di ricerca a comprendere la struttura del tuo sito e a scoprire i tuoi contenuti. Bloccarle può influire negativamente sul tuo posizionamento nei motori di ricerca.
Risorse aggiuntive sull'uso di Robots.txt in WordPress
Ora che sai come ottimizzare il tuo file robots.txt, potresti voler consultare altri articoli relativi all'uso di robots.txt in WordPress.
- Glossario: Robots.txt
- Come nascondere una pagina WordPress da Google
- Come impedire ai motori di ricerca di scansionare un sito WordPress
- Come eliminare definitivamente un sito WordPress da Internet
- Come nascondere facilmente (Noindex) i file PDF in WordPress
- Come risolvere l'errore "Googlebot non può accedere ai file CSS e JS" in WordPress
- Cos'è llms.txt? Come aggiungere llms.txt in WordPress
- Come configurare correttamente All in One SEO per WordPress (Guida definitiva)
Speriamo che questo articolo ti abbia aiutato a imparare come ottimizzare il file robots.txt di WordPress per la SEO. Potresti anche voler consultare la nostra guida definitiva alla SEO per WordPress e le nostre scelte esperte per i migliori strumenti SEO per WordPress per far crescere il tuo sito web.
Se ti è piaciuto questo articolo, iscriviti al nostro canale YouTube per tutorial video su WordPress. Puoi anche trovarci su Twitter e Facebook.
Steve
Grazie per questo - come funziona su un WP Multisite però?
Supporto WPBeginner
Per un multisite, avresti bisogno di un file robots.txt nella cartella principale di ogni sito.
Amministratore
Pacifique Ndanyuzwe
Il mio sito WordPress è nuovo e il mio robot.txt di default è
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Voglio che Google scansiona e indicizzi i miei contenuti. Questo robot.txt va bene?
Supporto WPBeginner
Puoi certamente usarlo se volessi
Amministratore
Ritesh Seth
Ottimo articolo…
Ero confuso da molti giorni riguardo al file Robots.txt e ai link Disallow. Ho copiato i tag per il file robots. Spero che questo risolva il problema del mio sito
Supporto WPBeginner
We hope our article will help as well
Amministratore
Kurt
I file negli screenshot della tua cartella principale si trovano in realtà sotto la cartella public_html nella mia cartella principale.
Non avevo una cartella /refer sotto la mia cartella public_html.
Non avevo file xml di post o pagine da nessuna parte sul mio account WP.
Ho incluso una voce nel file robots.txt che ho creato per impedire la scansione del mio sito sandbox. Non sono sicuro che sia necessario dato che ho già selezionato l'opzione in WP che dice ai crawler di non scansionare il mio sito sandbox, ma non credo che faccia male avere la voce.
Supporto WPBeginner
Some hosts do rename public_html to home which is why you see it there. You would want to ensure Yoast is active for the XML files to be available. The method in this article is an additional precaution to help with preventing crawling your site
Amministratore
Ahmed
Ottimo articolo
Supporto WPBeginner
Thank you
Amministratore
ASHOK KUMAR JADON
Ciao, un articolo così bello che risolve il mio problema. Quindi grazie mille
Supporto WPBeginner
Glad our article could help
Amministratore
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Questo è il mio codice robot.txt ma sono confuso sul perché il mio /wp-admin venga indicizzato? Come posso non indicizzarlo?
Supporto WPBeginner
Se è stato indicizzato in precedenza, potrebbe essere necessario attendere che la cache del motore di ricerca si svuoti
Amministratore
Ashish kumar
Questo sito web mi ispira davvero ad avviare un blog. Grazie mille per il team. Ogni singolo articolo di questo sito web ha ricchezza di informazioni e spiegazioni. Quando ho qualche problema, la prima cosa che visito è questo blog. Grazie
Supporto WPBeginner
Glad our articles can be helpful
Amministratore
Anna
Sto cercando di ottimizzare i robot per il mio sito web usando Yoast. Tuttavia, gli strumenti in Yoast non hanno l'opzione per 'File Editor'.
Ci sono solo due opzioni
(i) Importa ed esporta
(ii) Editor di massa
Potresti per favore consigliarmi come affrontare questo problema? Potrebbe essere che io sia su un'edizione gratuita di Yoast?
Supporto WPBeginner
La versione gratuita di Yoast ha ancora l'opzione, la tua installazione potrebbe impedire la modifica dei file, nel qual caso probabilmente dovresti usare il metodo FTP.
Amministratore
Emmanuel Husseni
Trovo questo articolo davvero utile perché non sapevo molto su come funziona robot.txt, ma ora lo so.
Per favore, cosa non capisco è come trovare il formato migliore di robot.txt da usare sul mio sito (intendo uno che funzioni in generale)?
Ho notato che molti grandi blog che controllo e che si posizionano bene sui motori di ricerca usano formati diversi per robot.txt..
Sarei felice di vedere una risposta da te o da chiunque possa aiutare
Staff editoriale
Avere una sitemap e consentire le aree che devono essere consentite è la parte più importante. La parte di disallow varierà in base a ciascun sito. Abbiamo condiviso un esempio nel nostro post del blog, e questo dovrebbe andare bene per la maggior parte dei siti WordPress.
Amministratore
Supporto WPBeginner
Ciao Emmanuel,
Si prega di consultare la sezione relativa al file robots.txt ideale. Dipende dalle tue esigenze. La maggior parte dei blogger esclude le cartelle di amministrazione di WordPress e dei plugin dalla scansione.
Amministratore
Emmanuel Husseni
Grazie mille.
ora capisco. Suppongo che per ora inizierò con il formato generale.
jack
Articolo ben scritto, consiglio agli utenti di creare una sitemap prima di creare e abilitare il loro testo ROBOTS, aiuterà il tuo sito a indicizzarsi più velocemente e a essere indicizzato facilmente.
Jack
Connie S Owens
Vorrei impedire ai motori di ricerca di indicizzare i miei archivi durante la loro scansione.
Emmanuel Nonye
Grazie mille, questo articolo è stato davvero utile
Cherisa
Continuo a ricevere il messaggio di errore riportato di seguito su Google Webmaster. Sono fondamentalmente bloccato. Alcune cose che non mi erano chiare in questo tutorial sono dove trovo i file root del mio sito, come si determina se ho già un "robots.txt" e come si modifica?
Supporto WPBeginner
Ciao Cherisa,
La cartella root del tuo sito è quella che contiene cartelle come wp-admin, wp-includes, wp-content, ecc. Contiene anche file come wp-config.php, wp-cron.php, wp-blogheader.php, ecc.
Se non vedi un file robots.txt in questa cartella, allora non ne hai uno. Puoi procedere e crearne uno nuovo.
Amministratore
Cherisa
Grazie per la tua risposta. Ho cercato ovunque e non riesco a trovare questi file root come descrivi. C'è un percorso di directory che posso seguire che porta a questa cartella? Come se fosse sotto Impostazioni, ecc?
Devender
Avevo un discreto traffico web sul mio sito. Improvvisamente è sceso a zero nel mese di maggio. Fino ad ora ho affrontato il problema. Per favore, aiutami a recuperare il mio sito web.
Haris Aslam
Ciao, grazie per queste informazioni, ma ho una domanda.
Ho appena creato i file sitemap.xml e robots.txt, e vengono scansionati bene. Ma come posso creare "Product-Sitemap.xml"?
C'è un elenco completo di prodotti nel file sitemap.xml. Devo creare Product-sitemap.xml separatamente?
e inviarli di nuovo a Google o Bing?
Puoi aiutarmi?
Grazie
Mahadi Hassan
Ho un problema con l'impostazione del file robots.txt. Viene visualizzato un solo robots.txt per tutti i siti web. Per favore, aiutami a visualizzare un file robots.txt separato per tutti i siti web. Ho tutti i file robots.txt separati per ogni singolo sito web. Ma nel browser viene visualizzato un solo file robots.txt per tutti i siti web.
Debu Majumdar
Per favore, spiega perché hai incluso
Disallow: /refer/
nell'esempio per principianti di Robots.txt? Non capisco le implicazioni di questa riga. È importante per i principianti? Hai spiegato le altre due righe Disallowed.
Grazie.
Supporto WPBeginner
Ciao Debu,
Questo esempio proviene dal file robots.txt di WPBeginner. Noi di WPBeginner utilizziamo ThirstyAffiliates per gestire i link di affiliazione e nascondere gli URL. Questi URL contengono /refer/, motivo per cui li blocchiamo nel nostro file robots.txt.
Amministratore
Evaristo
Come posso mettere tutti i tag/mydomain.Com in nofollow? In robots.txt per concentrare il link Juice? Grazie.
harsh kumar
ciao,, sto riscontrando un errore in yoast seo riguardo alla mappa del sito.. una volta che clicco su correggi,,, ricompare.. l'html del mio sito non si carica correttamente
Tom
Ho appena rivisto il mio account Google Webmaster Tools e, utilizzando la Search Console, ho riscontrato quanto segue:
Pagina parzialmente caricata
Non tutte le risorse della pagina sono state caricate. Ciò può influire su come Google vede e comprende la tua pagina. Risolvi i problemi di disponibilità per qualsiasi risorsa che possa influire su come Google comprende la tua pagina.
Questo accade perché tutti i fogli di stile CSS associati ai plugin sono disabilitati dal robots.txt predefinito.
Capisco le buone ragioni per cui non dovrei semplicemente rendere questo consentito, ma quale sarebbe un'alternativa, dato che sospetterei che gli algoritmi di Google stiano penalizzando il sito per non vederli.
Suren
Ciao,
Ogni volta che cerco il mio sito su Google, questo testo appare sotto il link: "Una descrizione per questo risultato non è disponibile a causa del robots.txt di questo sito".
Come posso risolvere questo problema?
Cordiali saluti
Supporto WPBeginner
Ciao Suren,
Sembra che qualcuno abbia accidentalmente modificato le impostazioni di privacy del tuo sito. Vai alla pagina Impostazioni » Lettura e scorri fino alla sezione "Visibilità per i motori di ricerca". Assicurati che la casella accanto a sia deselezionata.
Amministratore
Divyesh
Ciao
Come ho visto nello strumento per webmaster, ho ottenuto il file robot.txt come segue:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
fatemi sapere se va bene? o dovrei usarne un altro?
John Cester
Voglio sapere, è una buona idea bloccare (disallow) "/wp-content/plugins/" in robots.tx? Ogni volta che rimuovo un plugin, viene visualizzato un errore 404 in alcune pagine di quel plugin.
Himanshu singh
Ho adorato questa spiegazione. Da principiante ero molto confuso riguardo al file robot.txt e ai suoi utilizzi. Ma ora so qual è il suo scopo.
rahul
in alcuni file robot.txt è stato disabilitato index.php. Puoi spiegare perché? È una buona pratica?
Waleed Barakat
Grazie per aver condiviso queste preziose informazioni.
Awais Ahmed
Puoi dirmi per favore perché succede questo nello strumento per webmaster:
Rete irraggiungibile: robots.txt irraggiungibile Non siamo riusciti a eseguire il crawl della tua Sitemap perché abbiamo trovato un file robots.txt nella root del tuo sito ma non siamo riusciti a scaricarlo. Assicurati che sia accessibile o rimuovilo completamente.
il file robots.txt esiste ma ancora
Dozza
Interessante aggiornamento dal team Yoast su questo a
Citazione: “Le vecchie best practice di avere un robots.txt che blocca l'accesso alla tua directory wp-includes e alla tua directory dei plugin non sono più valide.”
natveimaging
Allow: /wp-content/uploads/
Non dovrebbe essere così?
Disallow: /wp-content/uploads/
Perché sei consapevole che Google indicizzerà tutte le tue pagine di caricamento come URL pubblici, giusto? E poi riceverai errori per la pagina stessa. C'è qualcosa che mi sfugge qui?
nativeimaging
Nel complesso, sono le pagine effettive che Google esegue il crawl per generare le mappe delle immagini, NON le cartelle di caricamento. Quindi avresti il problema che tutte le immagini più piccole e altre immagini destinate all'interfaccia utente verrebbero indicizzate.
Questa sembra essere l'opzione migliore:
Disallow: /wp-content/uploads/
Se ho torto, per favore spiegamelo in modo che io possa capire il tuo punto di vista.
Jason
L'URL del mio blog non viene indicizzato, devo cambiare il mio robots.txt?
Sto usando questo robots.txt
iyan
come creare un file robot txt che permetta SOLO l'indicizzazione di pagine e post.. grazie
Simaran Singh
Non sono sicuro di quale sia il problema, ma il mio robots.txt ha due versioni.
Una su http://www.example.com/robots.txt e la seconda su example.com/robots.txt
Qualcuno, per favore, mi aiuti! Fatemi sapere quale potrebbe essere la causa e come correggerla?
Supporto WPBeginner
Molto probabilmente, il tuo web host consente l'accesso al tuo sito sia con URL www che non-www. Prova a modificare robots.txt usando un client FTP. Quindi esaminalo da entrambi gli URL se riesci a vedere le tue modifiche su entrambi gli URL, allora questo significa che è lo stesso file.
Amministratore
Simaran Singh
Grazie per la rapida risposta. L'ho già fatto, ma non riesco a vedere alcun cambiamento. C'è un altro modo per risolverlo?
Martin conde
Yoasts blogpost about this topic was right above yours in my search so of course I checked them both. They are contradicting each other a little bit.. For example yoast said that disallowing plugin directories and others, might hinder the Google crawlers when fetching your site since plugins may output css or js. Also mentioned (and from my own experience), yoast doesn’t add anything sitemap related to the robots.txt, rather generates it so that you can add it to your search console. Here is the link to his post, maybe you can re-check because it is very hard to choose whose word to take for it
MM Nauman
Dato che non sono bravo a creare questo file Robotstxt, posso usare il tuo file Robots.txt cambiando i parametri come l'URL e la sitemap del mio sito, va bene? o dovrei crearne uno diverso
Mohit Chauhan
Ciao,
Oggi ho ricevuto questa email da Google “Googlebot non può accedere ai file CSS e JS”…qual è la soluzione?
Grazie
Parmod
Lasciami indovinare… Stai usando servizi CDN per importare file CSS e JS.
o
Potrebbe essere possibile che tu abbia scritto una sintassi errata in questi file.
Rahul
Ho una domanda sull'aggiunta di Sitemap. Come posso aggiungere la Sitemap di Yahoo e Bing al file Robots e alla directory di WordPress?
Gerbrand Petersen
Grazie per l'elaborata descrizione dell'uso del file robots. Qualcuno sa se anche Yahoo sta utilizzando questo robots.txt e se rispetta le regole menzionate nel file? Lo chiedo perché ho un "Disallow" per una certa pagina nel mio file, ma ricevo traffico da Yahoo su quella pagina. Niente da Google, come dovrebbe essere. Grazie in anticipo.
Erwin
correzione...
"Se stai usando il plugin Yoast WordPress SEO o qualche altro plugin per generare la tua sitemap XML, allora il tuo plugin cercherà di aggiungere automaticamente le righe relative alla tua sitemap nel file robots.txt."
Non è vero. WordPress SEO non aggiunge la sitemap a robots.txt
"Ho sempre pensato che collegare la tua sitemap XML dal tuo robots.txt fosse un po' insensato. Dovresti aggiungerle manualmente ai tuoi Google e Bing Webmaster Tools e assicurarti di guardare il loro feedback sulla tua sitemap XML. Questo è il motivo per cui il nostro plugin WordPress SEO non lo aggiunge al tuo robots.txt."
https://yoast.com/wordpress-robots-txt-example/
È anche più consigliato non disabilitare la directory wp-plugins (motivi vedi il post di Yoast)
E personalmente mi piace semplicemente rimuovere il file readme.txt...
hyma
Ho capito il file robots.txt e l'uso del file robots. Come si crea una sitemap per il mio sito.
Rick R. Duncan
Dopo aver letto la documentazione di Google, ho l'impressione che la direttiva da usare nel file robots.txt sia disallow, che dice solo ai bot cosa possono e non possono scansionare. Non dice loro cosa può e non può essere indicizzato. È necessario utilizzare il meta tag robots noindex per avere una pagina non indicizzata.
Nitin
articolo davvero ottimo per un file robots.txt ottimizzato per la SEO. Ma ho bisogno che tu fornisca un tutorial su come caricare il file robots.txt sul server. Essendo un principiante, sembra essere un problema drastico caricare quel file.
A proposito, grazie per aver condiviso informazioni così utili.
-Nitin
Parmod
Caricalo sul tuo server/public_hmtl/(Nome-del-tuo-sito)... in questa cartella
Jenny
Qual è il modo migliore per aggiungere codice a HTTacess per bloccare più referrer di bot spam per il loro URL e indirizzo IP se non viene fornito alcun URL
So che se si ottiene una sintassi errata durante l'uso di httacess, questo può mettere offline il tuo sito. Sono un principiante e ho bisogno di bloccare questi fastidiosi URL multipli dalla Russia, Cina, Ucraina, ecc.
Molte grazie
Hazel Andrews
Grazie per questi suggerimenti... i file robot txt sono stati modificati! evvai!
Rahat
perché devo aggiungere Allow: !!!
se menziono solo ciò che devo Disallow, è sufficiente. Non devo scrivere codice per Allow perché Googlebot o Bingbot striscieranno tutto il resto automaticamente.
Quindi perché dovrei usare di nuovo Allow?
Connor Rickett
Dato che la mancanza del file Robots.txt non impedisce la scansione del sito, mi chiedo: ci sono dati concreti su quanto avere il file migliorerà le prestazioni SEO?
Ho fatto una rapida ricerca su Google e non ho trovato dati quantitativi a riguardo. Ci sono circa mezzo milione di articoli che dicono: "Ehi, questo migliora la SEO!", ma mi piacerebbe davvero sapere di cosa stiamo parlando qui, anche in generale.
Si tratta di un aumento del 5%? 50? 500?
Supporto WPBeginner
I motori di ricerca non condividono tali dati. Sebbene l'assenza di un file robots.txt non impedisca ai motori di ricerca di eseguire la scansione o l'indicizzazione di un sito web. Tuttavia, è una best practice raccomandata.
Amministratore
Connor Rickett
Grazie per aver dedicato del tempo a rispondermi, lo apprezzo!
JD Myers
Tempismo perfetto per questo. Stavo cercando di trovare queste informazioni proprio ieri.
Il motivo per cui lo stavo cercando è che Google Webmaster Tools mi diceva che non riusciva a eseguire correttamente la scansione del mio sito perché stavo bloccando varie risorse necessarie per il corretto rendering della pagina.
Queste risorse includevano quelle trovate in /wp-content/plugins/
Dopo aver consentito questa cartella, l'avviso è scomparso.
Qualche idea al riguardo?
Supporto WPBeginner
Puoi tranquillamente ignorare questi avvisi. È solo un avviso se in realtà avevi contenuti lì che vorresti indicizzare. A volte gli utenti hanno bloccato i bot di ricerca e se ne sono dimenticati. Questi avvisi sono utili in quelle situazioni.
Amministratore
Chetan jadhav
Ho una domanda: molte persone usano una sitemap statica e sai che hanno un sito WordPress. Dovremmo usare una sitemap statica o una generata da WordPress?
Wilton Calderon
Bello, mi piace come ce l'ha Wpbeginner, e con quel posizionamento in Alexa, mi sembra uno dei modi migliori per usare robots.txt..
Brigitte Burke
cosa significa il mio file robots.txt se appare così?
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Staff editoriale
Dice solo che i motori di ricerca non dovrebbero indicizzare la tua cartella wp-admin, la cartella wp-includes e il file xml-rpc. A volte bloccare /wp-includes/ può bloccare determinati script per i motori di ricerca, specialmente se il tuo sito utilizza tali script. Questo può danneggiare la tua SEO.
La cosa migliore da fare è andare su Google Webmaster Tools e recuperare il tuo sito come bot lì. Se tutto viene caricato correttamente, allora non hai nulla di cui preoccuparti. Se dice che gli script sono bloccati, allora potresti voler rimuovere la riga wp-includes.
Amministratore
hercules
Non vedo alcuna logica nella tua idea di avere uno script all'interno della directory includes che possa essere utilizzato da un crawler / robot .. e un altro, se c'è un caso isolato, è meglio dopo aver specificato il default di WordPress che consenta questo file, immagini che i motori di ricerca utilizzino i suoi script! dopotutto, WordPress certamente non ha di default un robots.txt anti motori di ricerca!!!!