Il tuo sito WordPress ha già un file robots.txt e sta prendendo decisioni su ciò a cui i crawler dei motori di ricerca possono accedere, che tu l'abbia mai toccato o meno.
La maggior parte di queste decisioni sono innocue. Ma una singola regola scelta male può anche tenere i crawler lontani dagli URL che in realtà vuoi che scoprano.
In questa guida, ti mostreremo cosa sta facendo il tuo file robots.txt in questo momento e come modificarlo senza toccare il codice.
Ecco tutto ciò che tratteremo in questa guida:
Cos'è un file Robots.txt?
Robots.txt è un file di testo normale che indica ai bot dei motori di ricerca quali parti del tuo sito possono scansionare.
Il file si trova nella directory principale (la cartella principale) del tuo sito web. Il formato di base è simile a questo:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Puoi aggiungere tutte le regole e le sitemap di cui hai bisogno. Se non disabiliti un URL, i bot presumono di poterlo scansionare.
Il tuo sito funziona bene senza un file robots.txt quando inizi un blog. Tuttavia, man mano che i tuoi contenuti crescono, questo file diventa più utile.
I motori di ricerca assegnano a ogni sito web un budget di scansione, che è il numero di pagine che scansioneranno in un dato periodo di tempo. Bloccando le pagine non importanti, aiuti i bot a spendere quel budget sui contenuti che desideri nei risultati di ricerca.
Questo è più importante per i siti di grandi dimensioni con migliaia di pagine.
Tieni presente che robots.txt aiuta a controllare la scansione, non l'indicizzazione.
- Scansione è quando i bot dei motori di ricerca (come Googlebot) visitano il tuo sito web per scoprirne i contenuti.
- Indicizzazione è quando aggiungono tali contenuti al loro enorme database di ricerca in modo che possano apparire nei risultati di ricerca.
Pensala come un bibliotecario che legge un nuovo libro (scansione) e poi lo aggiunge al catalogo della biblioteca (indicizzazione).
In altre parole, robots.txt non è nemmeno un buon modo per nascondere i contenuti perché una pagina disabilitata può ancora apparire nei risultati di ricerca se altri siti web vi linkano. Per escludere in modo affidabile una pagina da Google, usa invece un tag meta 'noindex'. Questo dice ai motori di ricerca di non elencare affatto la pagina.
Esempi e migliori pratiche di Robots.txt
Per la maggior parte dei siti WordPress, puoi mantenere il tuo file robots.txt abbastanza semplice. Ecco la configurazione di base che consigliamo:
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
Ecco cosa fa ogni regola:
Allow: /wp-content/uploads/consente ai motori di ricerca di scansionare le tue immagini e altri file caricati nella tua libreria multimediale di WordPress.Allow: /wp-admin/admin-ajax.phpmantiene accessibile l'handler AJAX di WordPress. Temi e plugin possono utilizzare questo file per caricare o aggiornare contenuti senza aggiornare la pagina.Disallow: /wp-admin/impedisce ai crawler di accedere alla tua area di amministrazione di WordPress, che non contiene contenuti che desideri appaiano nei risultati di ricerca.Disallow: /readme.htmlimpedisce ai crawler di accedere al filereadme.htmlpredefinito di WordPress. Questo file non è utile per i motori di ricerca, quindi c'è poco motivo per loro di scansionarlo.Disallow: /refer/impedisce ai crawler di seguire URL di affiliazione o altri URL di reindirizzamento che utilizzano il prefisso/refer/. Se il tuo sito utilizza un prefisso diverso per questi link, sostituisci/refer/con il tuo.Disallow: /?s=impedisce ai crawler di richiedere gli URL di ricerca interni di WordPress. Queste pagine generalmente non sono pagine di destinazione utili per i motori di ricerca e possono creare molti URL non necessari da scansionare.Sitemapdice ai motori di ricerca dove trovare le tue sitemap XML. Questo rende più facile per loro scoprire gli URL che desideri vengano sottoposti a scansione.
Questi sono gli stessi tipi di regole fondamentali che utilizziamo su WPBeginner. Puoi vedere il nostro file live su wpbeginner.com/robots.txt. Il nostro file di produzione contiene regole aggiuntive per un sito molto più grande, ma i principi di base sono gli stessi.
Tieni presente che l'uso del carattere jolly * si applica a tutti i crawler.
Ad esempio, questa regola impedisce a Googlebot di eseguire la scansione della cartella /private/:
User-agent: Googlebot
Disallow: /private/
I nomi comuni degli user agent includono Googlebot (Google), Bingbot (Bing) e Baiduspider (Baidu).
Come creare un file Robots.txt in WordPress
Ci sono due modi per creare un file robots.txt in WordPress. Puoi scegliere il metodo che funziona meglio per te.
Metodo 1: Modifica del file Robots.txt utilizzando All in One SEO
La maggior parte dei plugin plugin SEO WordPress gratuiti, come All in One SEO (AIOSEO), Yoast o Rank Math, ti consente di personalizzare il tuo file robots.txt direttamente dalla tua bacheca di WordPress.
Usiamo AIOSEO su WPBeginner. La versione gratuita di AIOSEO ti aiuta a convalidare la tua regola robots.txt mentre digiti, il che ti consente di individuare errori di sintassi prima che vada online.
Una volta che il plugin è attivo, vai semplicemente su All in One SEO » Strumenti nella tua bacheca di WordPress. Atterrerai sull'Editor Robots.txt. Attiva l'interruttore 'Abilita Robots.txt personalizzato' per iniziare a modificare.
L'editor mostra le regole predefinite che WordPress genera da solo.
Ora puoi aggiungere le tue regole. Inserisci uno user agent nel campo 'User Agent', oppure usa * per applicare la regola a tutti i bot.
Quindi scegli 'Consenti' o 'Non consentire' nella colonna Direttiva e digita il percorso del file o della cartella nel campo 'Valore'. Per aggiungere un'altra regola, fai clic sul pulsante 'Aggiungi regola'.
Puoi controllare il tuo file finalizzato nell'anteprima 'Anteprima Robots.txt personalizzato' in fondo allo schermo. Mostra il file completo esattamente come lo vedranno i bot.
Quando hai finito, fai clic sul pulsante 'Salva modifiche' per salvare le tue regole.
Metodo 2: Modifica manuale del file Robots.txt tramite FTP
Se preferisci modificare direttamente il tuo file robots.txt, segui questo metodo. Per modificare il file, dovrai utilizzare un client FTP o il file manager nel tuo pannello di hosting WordPress.
Prima di modificare qualsiasi cosa, scarica una copia di backup del tuo attuale file robots.txt sul tuo computer. In questo modo, puoi ripristinarlo se qualcosa va storto.
Per prima cosa, connetti il tuo client FTP al tuo sito web WordPress e trova il file robots.txt nella cartella principale del tuo sito.
Se non ne vedi uno, il tuo sito non ha ancora un file robots.txt. Puoi crearne uno proprio lì.
Robots.txt è un file di testo normale. Puoi scaricarlo, modificarlo in qualsiasi editor di testo normale come Blocco note o TextEdit, e caricarlo di nuovo nella tua cartella principale.
Come testare il tuo file Robots.txt
Dopo aver creato o modificato il tuo file robots.txt, controllalo sempre per errori. Un piccolo errore di battitura può bloccare pagine importanti dai motori di ricerca e potresti non accorgertene per settimane.
Il modo più semplice per testare il tuo file robots.txt per errori è con Google Search Console.
Innanzitutto, assicurati che il tuo sito sia connesso a Google Search Console. Se non lo è, segui la nostra guida su come aggiungere il tuo sito WordPress a Google Search Console.
Quindi vai alla dashboard di Search Console e apri Impostazioni dal menu in basso a sinistra. Trova la sezione 'Crawling' e fai clic su 'Apri report' accanto a 'robots.txt'.
Fai clic sulla versione corrente del file nell'elenco. Il report mostra l'ultimo robots.txt che Google ha trovato ed evidenzia eventuali errori di sintassi o problemi logici rilevati.
Se hai appena aggiornato il tuo file e le modifiche non vengono visualizzate, attendi un giorno e poi ricontrolla.
Domande frequenti su Robots.txt di WordPress
Ecco le domande più comuni che i lettori ci pongono sull'ottimizzazione del file robots.txt in WordPress.
1. L'uso di robots.txt può migliorare la sicurezza del mio sito?
No, robots.txt non è una misura di sicurezza. Il file è visibile pubblicamente, quindi non impedisce effettivamente a nessuno di accedere agli URL che elenchi. Fornisce semplicemente direttive per i crawler dei motori di ricerca ben educati.
2. Devo bloccare le pagine delle categorie e dei tag di WordPress in robots.txt?
No, non dovresti bloccare le pagine delle categorie e dei tag. Queste pagine di archivio contengono link interni che i crawler seguono per raggiungere i tuoi vecchi post, quindi bloccarle rimuove un percorso di scoperta per i contenuti che desideri indicizzare.
3. Qual è la differenza tra robots.txt e il tag noindex?
Controllano cose diverse. Robots.txt controlla se un crawler può visitare un URL. Il tag noindex controlla se i motori di ricerca includono una pagina nei risultati di ricerca, anche se l'hanno già visitata.
Usa robots.txt per bloccare i crawler da aree come il tuo pannello di amministrazione, l'ambiente di staging o le directory dei plugin. Usa noindex per le pagine che sei d'accordo che Google esamini, come pagine di archivio filtrate o pagine di ringraziamento, che semplicemente non vuoi che appaiano nei risultati di ricerca.
Speriamo che questo articolo ti abbia aiutato a ottimizzare il tuo file robots.txt di WordPress per la SEO. Potresti anche voler consultare la nostra guida definitiva alla SEO per WordPress e le nostre scelte esperte per i migliori strumenti SEO per WordPress per far crescere il tuo sito web.
Se ti è piaciuto questo articolo, iscriviti al nostro Canale YouTube per tutorial video su WordPress. Puoi trovarci anche su Twitter e Facebook.
Steve
Grazie per questo - come funziona su un WP Multisite però?
Supporto WPBeginner
Per un multisite, avresti bisogno di un file robots.txt nella cartella principale di ogni sito.
Amministratore
Pacifique Ndanyuzwe
Il mio sito WordPress è nuovo e il mio robot.txt di default è
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Voglio che Google scansiona e indicizzi i miei contenuti. Questo robot.txt va bene?
Supporto WPBeginner
Puoi certamente usarlo se volessi
Amministratore
Ritesh Seth
Ottimo articolo…
Ero confuso da molti giorni riguardo al file Robots.txt e ai link Disallow. Ho copiato i tag per il file robots. Spero che questo risolva il problema del mio sito
Supporto WPBeginner
Speriamo che anche il nostro articolo ti sia d'aiuto
Amministratore
Kurt
I file negli screenshot della tua cartella principale si trovano in realtà sotto la cartella public_html nella mia cartella principale.
Non avevo una cartella /refer sotto la mia cartella public_html.
Non avevo file xml di post o pagine da nessuna parte sul mio account WP.
Ho incluso una voce nel file robots.txt che ho creato per impedire la scansione del mio sito sandbox. Non sono sicuro che sia necessario dato che ho già selezionato l'opzione in WP che dice ai crawler di non scansionare il mio sito sandbox, ma non credo che faccia male avere la voce.
Supporto WPBeginner
Alcuni host rinominano public_html in home, motivo per cui lo vedi lì. Dovresti assicurarti che Yoast sia attivo affinché i file XML siano disponibili. Il metodo in questo articolo è un'ulteriore precauzione per aiutare a prevenire l'indicizzazione del tuo sito
Amministratore
Ahmed
Ottimo articolo
Supporto WPBeginner
Grazie
Amministratore
ASHOK KUMAR JADON
Ciao, un articolo così bello che risolve il mio problema. Quindi grazie mille
Supporto WPBeginner
Siamo lieti che il nostro articolo sia stato utile
Amministratore
Elyn Ashton
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php <– Questo è il mio codice robot.txt ma sono confuso sul perché il mio /wp-admin venga indicizzato? Come posso non indicizzarlo?
Supporto WPBeginner
Se è stato indicizzato in precedenza, potrebbe essere necessario attendere che la cache del motore di ricerca si svuoti
Amministratore
Ashish kumar
Questo sito web mi ispira davvero ad avviare un blog. Grazie mille per il team. Ogni singolo articolo di questo sito web ha ricchezza di informazioni e spiegazioni. Quando ho qualche problema, la prima cosa che visito è questo blog. Grazie
Supporto WPBeginner
Siamo lieti che i nostri articoli possano essere utili
Amministratore
Anna
Sto cercando di ottimizzare i robot per il mio sito web usando Yoast. Tuttavia, gli strumenti in Yoast non hanno l'opzione per 'File Editor'.
Ci sono solo due opzioni
(i) Importa ed esporta
(ii) Editor di massa
Potresti per favore consigliarmi come affrontare questo problema? Potrebbe essere che io sia su un'edizione gratuita di Yoast?
Supporto WPBeginner
La versione gratuita di Yoast ha ancora l'opzione, la tua installazione potrebbe impedire la modifica dei file, nel qual caso probabilmente dovresti usare il metodo FTP.
Amministratore
Emmanuel Husseni
Trovo questo articolo davvero utile perché non sapevo molto su come funziona robot.txt, ma ora lo so.
Per favore, cosa non capisco è come trovare il formato migliore di robot.txt da usare sul mio sito (intendo uno che funzioni in generale)?
Ho notato che molti grandi blog che controllo e che si posizionano bene sui motori di ricerca usano formati diversi per robot.txt..
Sarei felice di vedere una risposta da te o da chiunque possa aiutare
Staff editoriale
Avere una sitemap e consentire le aree che devono essere consentite è la parte più importante. La parte di disallow varierà in base a ciascun sito. Abbiamo condiviso un esempio nel nostro post del blog, e questo dovrebbe andare bene per la maggior parte dei siti WordPress.
Amministratore
Supporto WPBeginner
Ciao Emmanuel,
Si prega di consultare la sezione relativa al file robots.txt ideale. Dipende dalle tue esigenze. La maggior parte dei blogger esclude le cartelle di amministrazione di WordPress e dei plugin dalla scansione.
Amministratore
Emmanuel Husseni
Grazie mille.
ora capisco. Suppongo che per ora inizierò con il formato generale.
jack
Articolo ben scritto, consiglio agli utenti di creare una sitemap prima di creare e abilitare il loro testo ROBOTS, aiuterà il tuo sito a indicizzarsi più velocemente e a essere indicizzato facilmente.
Jack
Connie S Owens
Vorrei impedire ai motori di ricerca di indicizzare i miei archivi durante la loro scansione.
Emmanuel Nonye
Grazie mille, questo articolo è stato davvero utile
Cherisa
Continuo a ricevere il messaggio di errore riportato di seguito su Google Webmaster. Sono fondamentalmente bloccato. Alcune cose che non mi erano chiare in questo tutorial sono dove trovo i file root del mio sito, come si determina se ho già un "robots.txt" e come si modifica?
Supporto WPBeginner
Ciao Cherisa,
La cartella root del tuo sito è quella che contiene cartelle come wp-admin, wp-includes, wp-content, ecc. Contiene anche file come wp-config.php, wp-cron.php, wp-blogheader.php, ecc.
Se non vedi un file robots.txt in questa cartella, allora non ne hai uno. Puoi procedere e crearne uno nuovo.
Amministratore
Cherisa
Grazie per la tua risposta. Ho cercato ovunque e non riesco a trovare questi file root come descrivi. C'è un percorso di directory che posso seguire che porta a questa cartella? Come se fosse sotto Impostazioni, ecc?
Devender
Avevo un discreto traffico web sul mio sito. Improvvisamente è sceso a zero nel mese di maggio. Fino ad ora ho affrontato il problema. Per favore, aiutami a recuperare il mio sito web.
Haris Aslam
Ciao, grazie per queste informazioni, ma ho una domanda.
Ho appena creato i file sitemap.xml e robots.txt, e vengono scansionati bene. Ma come posso creare "Product-Sitemap.xml"?
C'è un elenco completo di prodotti nel file sitemap.xml. Devo creare Product-sitemap.xml separatamente?
e inviarli di nuovo a Google o Bing?
Puoi aiutarmi?
Grazie
Mahadi Hassan
Ho un problema con l'impostazione del file robots.txt. Viene visualizzato un solo robots.txt per tutti i siti web. Per favore, aiutami a visualizzare un file robots.txt separato per tutti i siti web. Ho tutti i file robots.txt separati per ogni singolo sito web. Ma nel browser viene visualizzato un solo file robots.txt per tutti i siti web.
Debu Majumdar
Per favore, spiega perché hai incluso
Disallow: /refer/
nell'esempio per principianti di Robots.txt? Non capisco le implicazioni di questa riga. È importante per i principianti? Hai spiegato le altre due righe Disallowed.
Grazie.
Supporto WPBeginner
Ciao Debu,
Questo esempio proviene dal file robots.txt di WPBeginner. Noi di WPBeginner utilizziamo ThirstyAffiliates per gestire i link di affiliazione e mascherare gli URL. Quegli URL contengono /refer/, ecco perché li blocchiamo nel nostro file robots.txt.
Amministratore
Evaristo
Come posso mettere tutti i tag/mydomain.Com in nofollow? In robots.txt per concentrare il link Juice? Grazie.
harsh kumar
ciao,, sto riscontrando un errore in yoast seo riguardo alla mappa del sito.. una volta che clicco su correggi,,, ricompare.. l'html del mio sito non si carica correttamente
Tom
Ho appena rivisto il mio account Google Webmaster Tools e, utilizzando la Search Console, ho riscontrato quanto segue:
Pagina parzialmente caricata
Non tutte le risorse della pagina sono state caricate. Ciò può influire su come Google vede e comprende la tua pagina. Risolvi i problemi di disponibilità per qualsiasi risorsa che possa influire su come Google comprende la tua pagina.
Questo accade perché tutti i fogli di stile CSS associati ai plugin sono disabilitati dal robots.txt predefinito.
Capisco le buone ragioni per cui non dovrei semplicemente rendere questo consentito, ma quale sarebbe un'alternativa, dato che sospetterei che gli algoritmi di Google stiano penalizzando il sito per non vederli.
Suren
Ciao,
Ogni volta che cerco il mio sito su Google, questo testo appare sotto il link: "Una descrizione per questo risultato non è disponibile a causa del robots.txt di questo sito".
Come posso risolvere questo problema?
Cordiali saluti
Supporto WPBeginner
Ciao Suren,
Sembra che qualcuno abbia accidentalmente modificato le impostazioni di privacy del tuo sito. Vai alla pagina Impostazioni » Lettura e scorri fino alla sezione "Visibilità per i motori di ricerca". Assicurati che la casella accanto a sia deselezionata.
Amministratore
Divyesh
Ciao
Come ho visto nello strumento per webmaster, ho ottenuto il file robot.txt come segue:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
fatemi sapere se va bene? o dovrei usarne un altro?
John Cester
Voglio sapere, è una buona idea bloccare (disallow) "/wp-content/plugins/" in robots.tx? Ogni volta che rimuovo un plugin, viene visualizzato un errore 404 in alcune pagine di quel plugin.
Himanshu singh
Ho adorato questa spiegazione. Da principiante ero molto confuso riguardo al file robot.txt e ai suoi utilizzi. Ma ora so qual è il suo scopo.
rahul
in alcuni file robot.txt è stato disabilitato index.php. Puoi spiegare perché? È una buona pratica?
Waleed Barakat
Grazie per aver condiviso queste preziose informazioni.
Awais Ahmed
Puoi dirmi per favore perché succede questo nello strumento per webmaster:
Rete irraggiungibile: robots.txt irraggiungibile Non siamo riusciti a eseguire il crawl della tua Sitemap perché abbiamo trovato un file robots.txt nella root del tuo sito ma non siamo riusciti a scaricarlo. Assicurati che sia accessibile o rimuovilo completamente.
il file robots.txt esiste ma ancora
Dozza
Interessante aggiornamento dal team Yoast su questo a
Citazione: “Le vecchie best practice di avere un robots.txt che blocca l'accesso alla tua directory wp-includes e alla tua directory dei plugin non sono più valide.”
natveimaging
Allow: /wp-content/uploads/
Non dovrebbe essere così?
Disallow: /wp-content/uploads/
Perché sei consapevole che Google indicizzerà tutte le tue pagine di caricamento come URL pubblici, giusto? E poi riceverai errori per la pagina stessa. C'è qualcosa che mi sfugge qui?
nativeimaging
Nel complesso, sono le pagine effettive che Google esegue il crawl per generare le mappe delle immagini, NON le cartelle di caricamento. Quindi avresti il problema che tutte le immagini più piccole e altre immagini destinate all'interfaccia utente verrebbero indicizzate.
Questa sembra essere l'opzione migliore:
Disallow: /wp-content/uploads/
Se ho torto, per favore spiegamelo in modo che io possa capire il tuo punto di vista.
Jason
L'URL del mio blog non viene indicizzato, devo cambiare il mio robots.txt?
Sto usando questo robots.txt
iyan
come creare un file robot txt che permetta SOLO l'indicizzazione di pagine e post.. grazie
Simaran Singh
Non sono sicuro di quale sia il problema, ma il mio robots.txt ha due versioni.
Una su http://www.example.com/robots.txt e la seconda su example.com/robots.txt
Qualcuno, per favore, mi aiuti! Fatemi sapere quale potrebbe essere la causa e come correggerla?
Supporto WPBeginner
Molto probabilmente, il tuo web host consente l'accesso al tuo sito sia tramite URL www che non-www. Prova a modificare robots.txt utilizzando un client FTP. Quindi esaminalo da entrambi gli URL se riesci a vedere le tue modifiche su entrambi gli URL, ciò significa che è lo stesso file.
Amministratore
Simaran Singh
Grazie per la rapida risposta. L'ho già fatto, ma non riesco a vedere alcun cambiamento. C'è un altro modo per risolverlo?
Martin conde
L'articolo del blog di Yoast su questo argomento era subito sopra il tuo nei miei risultati di ricerca, quindi ovviamente li ho controllati entrambi. Si contraddicono un po'. Ad esempio, Yoast ha detto che non consentire le directory dei plugin e altre cose potrebbe ostacolare i crawler di Google nel recupero del tuo sito poiché i plugin potrebbero generare CSS o JS. Ha anche menzionato (e dalla mia esperienza), Yoast non aggiunge nulla relativo alla sitemap al robots.txt, piuttosto lo genera in modo che tu possa aggiungerlo alla tua search console. Ecco il link al suo post, forse puoi ricontrollare perché è molto difficile scegliere di chi fidarsi
MM Nauman
Dato che non sono bravo a creare questo file Robotstxt, posso usare il tuo file Robots.txt cambiando i parametri come l'URL e la sitemap del mio sito, va bene? o dovrei crearne uno diverso
Mohit Chauhan
Ciao,
Oggi ho ricevuto questa email da Google “Googlebot non può accedere ai file CSS e JS”…qual è la soluzione?
Grazie
Parmod
Lasciami indovinare… Stai usando servizi CDN per importare file CSS e JS.
o
Potrebbe essere possibile che tu abbia scritto una sintassi errata in questi file.
Rahul
Ho una domanda sull'aggiunta di Sitemap. Come posso aggiungere la Sitemap di Yahoo e Bing al file Robots e alla directory di WordPress?
Gerbrand Petersen
Grazie per l'elaborata descrizione dell'uso del file robots. Qualcuno sa se anche Yahoo sta utilizzando questo robots.txt e se rispetta le regole menzionate nel file? Lo chiedo perché ho un "Disallow" per una certa pagina nel mio file, ma ricevo traffico da Yahoo su quella pagina. Niente da Google, come dovrebbe essere. Grazie in anticipo.
Erwin
correzione...
"Se stai usando il plugin Yoast WordPress SEO o qualche altro plugin per generare la tua sitemap XML, allora il tuo plugin cercherà di aggiungere automaticamente le righe relative alla tua sitemap nel file robots.txt."
Non è vero. WordPress SEO non aggiunge la sitemap a robots.txt
"Ho sempre pensato che collegare la tua sitemap XML dal tuo robots.txt fosse un po' insensato. Dovresti aggiungerle manualmente ai tuoi Google e Bing Webmaster Tools e assicurarti di guardare il loro feedback sulla tua sitemap XML. Questo è il motivo per cui il nostro plugin WordPress SEO non lo aggiunge al tuo robots.txt."
https://yoast.com/wordpress-robots-txt-example/
È anche più consigliato non disabilitare la directory wp-plugins (motivi vedi il post di Yoast)
E personalmente mi piace semplicemente rimuovere il file readme.txt...
hyma
Ho capito il file robots.txt e l'uso del file robots. Come si crea una sitemap per il mio sito.
Rick R. Duncan
Dopo aver letto la documentazione di Google, ho l'impressione che la direttiva da usare nel file robots.txt sia disallow, che dice solo ai bot cosa possono e non possono scansionare. Non dice loro cosa può e non può essere indicizzato. È necessario utilizzare il meta tag robots noindex per avere una pagina non indicizzata.
Nitin
articolo davvero ottimo per un file robots.txt ottimizzato per la SEO. Ma ho bisogno che tu fornisca un tutorial su come caricare il file robots.txt sul server. Essendo un principiante, sembra essere un problema drastico caricare quel file.
A proposito, grazie per aver condiviso informazioni così utili.
-Nitin
Parmod
Caricalo sul tuo server/public_hmtl/(Nome-del-tuo-sito)... in questa cartella
Jenny
Qual è il modo migliore per aggiungere codice a HTTacess per bloccare più referrer di bot spam per il loro URL e indirizzo IP se non viene fornito alcun URL
So che se si ottiene una sintassi errata durante l'uso di httacess, questo può mettere offline il tuo sito. Sono un principiante e ho bisogno di bloccare questi fastidiosi URL multipli dalla Russia, Cina, Ucraina, ecc.
Molte grazie
Hazel Andrews
Grazie per questi suggerimenti... i file robot txt sono stati modificati! evvai!
Rahat
perché devo aggiungere Allow: !!!
se menziono solo ciò che devo Disallow, è sufficiente. Non devo scrivere codice per Allow perché Googlebot o Bingbot striscieranno tutto il resto automaticamente.
Quindi perché dovrei usare di nuovo Allow?
Connor Rickett
Dato che la mancanza del file Robots.txt non impedisce la scansione del sito, mi chiedo: ci sono dati concreti su quanto avere il file migliorerà le prestazioni SEO?
Ho fatto una rapida ricerca su Google e non ho trovato dati quantitativi a riguardo. Ci sono circa mezzo milione di articoli che dicono: "Ehi, questo migliora la SEO!", ma mi piacerebbe davvero sapere di cosa stiamo parlando qui, anche in generale.
Si tratta di un aumento del 5%? 50? 500?
Supporto WPBeginner
I motori di ricerca non condividono tali dati. Sebbene l'assenza di un file robots.txt non impedisca ai motori di ricerca di eseguire la scansione o l'indicizzazione di un sito web. Tuttavia, è una best practice raccomandata.
Amministratore
Connor Rickett
Grazie per aver dedicato del tempo a rispondermi, lo apprezzo!
JD Myers
Tempismo perfetto per questo. Stavo cercando di trovare queste informazioni proprio ieri.
Il motivo per cui lo stavo cercando è che Google Webmaster Tools mi diceva che non riusciva a eseguire correttamente la scansione del mio sito perché stavo bloccando varie risorse necessarie per il corretto rendering della pagina.
Queste risorse includevano quelle trovate in /wp-content/plugins/
Dopo aver consentito questa cartella, l'avviso è scomparso.
Qualche idea al riguardo?
Supporto WPBeginner
Puoi tranquillamente ignorare questi avvisi. È solo un avviso se in realtà avevi contenuti lì che vorresti indicizzare. A volte gli utenti hanno bloccato i bot di ricerca e se ne sono dimenticati. Questi avvisi sono utili in quelle situazioni.
Amministratore
Chetan jadhav
Ho una domanda: molte persone usano una sitemap statica e sai che hanno un sito WordPress. Dovremmo usare una sitemap statica o una generata da WordPress?
Wilton Calderon
Bello, mi piace come ce l'ha Wpbeginner, e con quel posizionamento in Alexa, mi sembra uno dei modi migliori per usare robots.txt..
Brigitte Burke
cosa significa il mio file robots.txt se appare così?
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Staff editoriale
Dice solo che i motori di ricerca non dovrebbero indicizzare la tua cartella wp-admin, la cartella wp-includes e il file xml-rpc. A volte bloccare /wp-includes/ può bloccare determinati script per i motori di ricerca, specialmente se il tuo sito utilizza tali script. Questo può danneggiare la tua SEO.
La cosa migliore da fare è andare su Google Webmaster Tools e recuperare il tuo sito come bot lì. Se tutto viene caricato correttamente, allora non hai nulla di cui preoccuparti. Se dice che gli script sono bloccati, allora potresti voler rimuovere la riga wp-includes.
Amministratore
hercules
Non vedo alcuna logica nella tua idea di avere uno script all'interno della directory includes che possa essere utilizzato da un crawler / robot .. e un altro, se c'è un caso isolato, è meglio dopo aver specificato il default di WordPress che consenta questo file, immagini che i motori di ricerca utilizzino i suoi script! dopotutto, WordPress certamente non ha di default un robots.txt anti motori di ricerca!!!!