Stai lavorando su un sito WordPress non ancora pronto per il lancio? Probabilmente non vuoi che pagine incomplete appaiano nei risultati di ricerca prima che tu sia pronto.
In questa guida, ti mostreremo come controllare la scansione e l'indicizzazione dei motori di ricerca in WordPress. Spiegheremo anche quale metodo utilizzare per nascondere un intero sito, una singola pagina o una cartella specifica.
Importante: Scansione e Indicizzazione non sono la stessa cosa
Molti principianti impediscono ai motori di ricerca di scansionare il loro sito quando in realtà vogliono impedire l'indicizzazione. È importante capire la differenza tra i due.
Scansione è quando i bot dei motori di ricerca visitano il tuo sito per scoprire contenuti. Indicizzazione è quando aggiungono quel contenuto al loro database ricercabile.
Pensala come un bibliotecario che legge un nuovo libro (scansione) e poi lo aggiunge al catalogo della biblioteca (indicizzazione).
Questo è importante perché bloccare la scansione non impedisce sempre l'indicizzazione. Se Google scopre un URL bloccato tramite link da altri siti web, può comunque indicizzare l'URL. Poiché Google non può scansionare la pagina, potrebbe mostrare "Nessuna informazione disponibile per questa pagina" nei risultati di ricerca.
Vuoi sapere se disabilitare la scansione o l'indicizzazione sul tuo sito? Ecco una guida rapida:
| Caso d'uso | Cosa fare | Strumento giusto |
|---|---|---|
| Nascondi un intero sito non ancora lanciato | Blocca tutto l'accesso | Impostazione di lettura di WordPress + protezione con password |
| Rimuovi una pagina o un articolo da Google | Mantienilo scansionabile e interrompi l'indicizzazione | Aggiungi un tag noindex |
| Allontana i bot da una cartella | Interrompi la scansione di quella cartella | robots.txt Disabilita |
Fai clic sui collegamenti sottostanti per passare al metodo di tua scelta:
- Metodo 1: Usa l'impostazione di WordPress per scoraggiare l'indicizzazione
- Metodo 2: Impedisci l'indicizzazione di una singola pagina o articolo
- Metodo 3: Modifica manualmente il tuo file robots.txt
- Metodo 4: Usa X-Robots-Tag per impedire l'indicizzazione
- Metodo 5: Proteggi l'intero sito con password tramite cPanel
- FAQ su come impedire ai motori di ricerca di eseguire la scansione di un sito WordPress
Metodo 1: Usa l'impostazione di WordPress per scoraggiare l'indicizzazione
WordPress ha un'impostazione integrata che chiede ai motori di ricerca di non indicizzare il tuo sito. Vai su Impostazioni » Lettura e seleziona 'Scoraggia i motori di ricerca dall'indicizzare questo sito'.
Quando la abiliti, WordPress aggiunge un meta tag robots noindex,nofollow alle tue pagine:
<meta name="robots" content="noindex,nofollow">
La direttiva noindex chiede ai motori di ricerca di non includere le tue pagine nei risultati di ricerca, mentre nofollow chiede loro di non seguire i link su quelle pagine.
WordPress avverte anche che spetta ai motori di ricerca onorare questa richiesta. In altre parole, questa impostazione chiede ai motori di ricerca di non indicizzare il tuo sito, ma non impedisce loro di accedervi.
Se vuoi rendere impossibile per i motori di ricerca indicizzare o scansionare il tuo sito web, allora dovrai proteggere con password il tuo sito WordPress.
Metodo 2: Impedisci l'indicizzazione di una singola pagina o articolo
Se desideri che il tuo sito rimanga nei risultati di ricerca ma vuoi escludere una pagina o un articolo da Google, aggiungi una direttiva noindex a quella pagina.
La maggior parte dei plugin SEO gratuiti per WordPress può farlo. Noi usiamo la versione gratuita di All in One SEO su WPBeginner, quindi ti mostreremo come funziona con essa. Per prima cosa, installa, attiva e configura il plugin sul tuo sito web.
Quindi, modifica l'articolo o la pagina che desideri rimuovere dai risultati di ricerca. Scorri verso il basso fino a Impostazioni AIOSEO e seleziona la scheda 'Avanzate'. Disattiva 'Usa impostazioni predefinite' e seleziona 'No Index'.
Fai clic su 'Aggiorna' o 'Pubblica' per salvare le modifiche. AIOSEO aggiungerà ora la direttiva noindex alla pagina, indicando ai motori di ricerca di non includerla nei loro indici.
Metodo 3: Modifica manualmente il tuo file robots.txt
Usa robots.txt quando vuoi dire ai crawler di non scansionare una parte specifica del tuo sito WordPress, piuttosto che bloccare l'intero sito. Ad esempio, puoi impedire ai bot di scansionare una cartella /private/ consentendo loro di scansionare il resto del tuo sito.
WordPress genera normalmente il tuo file robots.txt automaticamente. Puoi visualizzarlo visitando tuodominio.com/robots.txt.
La maggior parte dei plugin SEO per WordPress gratuiti, incluso All in One SEO, ti consente di modificare robots.txt direttamente dalla tua bacheca di WordPress. In alternativa, puoi creare o modificare un file robots.txt nella directory principale del tuo sito utilizzando il file manager del tuo hosting o FTP. Per istruzioni dettagliate, consulta la nostra guida su come ottimizzare il tuo robots.txt di WordPress per la SEO.
Una volta aperto il file, copia il codice seguente nel tuo file robots.txt.
User-agent: *
Disallow: /private/
Assicurati di sostituire /private/ con il percorso dell'URL che desideri che i motori di ricerca smettano di scansionare.
Metodo 4: Usa X-Robots-Tag per impedire l'indicizzazione
Se hai bisogno di escludere un file come un PDF dai risultati di ricerca, puoi usare l'intestazione HTTP X-Robots-Tag. A differenza di un meta tag robots, funziona con file che non hanno una pagina HTML in cui puoi aggiungere noindex.
Per i server Apache, aggiungi il seguente codice al tuo file .htaccess:
<FilesMatch ".pdf$">
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex"
</IfModule>
</FilesMatch>
Se usi AIOSEO, puoi anche modificare il tuo file .htaccess da All in One SEO » Strumenti » Editor .htaccess.
Attenzione: Modificare il file .htaccess può causare problemi al tuo sito web se fatto in modo errato. Assicurati di effettuare un backup del tuo sito WordPress o di creare una copia del tuo file .htaccess prima di apportare qualsiasi modifica.
Metodo 5: Proteggi l'intero sito con password tramite cPanel
Se il tuo sito è ancora in costruzione e desideri impedire ai motori di ricerca di accedervi, dovrai abilitare la protezione con password sull'intero sito. Blocca visitatori e crawler dall'accedere al sito finché non rimuovi la password.
Se il tuo provider di hosting offre cPanel, accedi al tuo account e apri 'Privacy della directory' sotto 'File'.
Trova la directory in cui WordPress è installato. Spesso è public_html. Se hai più siti, apri public_html e seleziona la cartella del sito che desideri proteggere.
Fai clic su ‘Modifica’ accanto alla directory. Nella nuova schermata, seleziona ‘Proteggi questa directory con password’, inserisci un nome per la directory protetta e fai clic su ‘Salva.’
Quindi utilizza la sezione ‘Crea utente’ per inserire un nome utente e una password. Il tuo sito richiederà ora questi dettagli di accesso prima che chiunque possa accedervi, inclusi i crawler dei motori di ricerca.
Tieni presente che la protezione con password a livello di server blocca tutto l'accesso al sito. Servizi esterni come gateway di pagamento o cron job potrebbero non funzionare finché non rimuovi la protezione.
FAQ su come impedire ai motori di ricerca di eseguire la scansione di un sito WordPress
1. La protezione con password del mio sito danneggerà la mia SEO quando sarò pronto per il lancio?
No. Proteggere il tuo sito con password mentre è in costruzione non danneggerà la tua SEO. Una volta rimossa la password, i motori di ricerca potranno scansionare e indicizzare le tue pagine normalmente.
2. Come disattivo la SEO in WordPress?
WordPress non ha un'impostazione per “disattivare la SEO”. Se desideri escludere il tuo sito dai risultati di ricerca, abilita ‘Scoraggia i motori di ricerca dall’indicizzare questo sito’ in Impostazioni » Lettura.
3. Come nascondo il mio sito WordPress dai motori di ricerca durante i test?
Proteggi il sito con password tramite il pannello di controllo del tuo hosting se il tuo provider lo offre. Ad esempio, gli utenti di cPanel possono utilizzare la Privacy della directory per richiedere un nome utente e una password prima che chiunque possa accedere al sito.
4. Qual è la differenza tra noindex e nofollow?
noindex dice ai motori di ricerca di non includere una pagina nei risultati di ricerca. nofollow dice loro di non seguire i link su quella pagina. Controllano cose diverse e possono essere usati insieme quando necessario.
Speriamo che questo articolo ti abbia aiutato a impedire ai motori di ricerca di scansionare o indicizzare il tuo sito WordPress. Potresti voler consultare la nostra checklist SEO per WordPress quando sarai pronto per lanciare il tuo sito web.
Se ti è piaciuto questo articolo, iscriviti al nostro Canale YouTube per tutorial video su WordPress. Puoi trovarci anche su Twitter e Facebook.
Oyatogun Oluwaseun Samuel
Wow!, Grazie wpBeginner, non avevo mai pensato di attivare la protezione tramite password sulla cartella public_html. Grazie per aver fornito questa prospettiva. Grazie mille!
Jiří Vaněk
Ho letto che spesso queste procedure, così come robots.txt, sono solo comportamenti raccomandati per un robot. Come evitare di essere cercati davvero. È possibile, ad esempio, bloccare gli intervalli di Google e Bing, ad esempio, con l'aiuto di un file .htaccess?
Supporto WPBeginner
Useresti il metodo 3 o 4 per bloccare completamente l'accesso al tuo sito.
Amministratore
Jiří Vaněk
Capisco, ma presumo che il sito web non sarà pubblico e solo coloro che conoscono login e password potranno accedervi? La mia idea era solo quella di provare a trovare gli intervalli IP dei bot e bloccarli a livello di file htacess, ad esempio. Ha senso o è una sciocchezza?
Supporto WPBeginner
Non c'è garanzia che i bot non trovino il sito in un secondo momento con un IP diverso. Se vuoi essere sicuro che il tuo sito non venga scansionato, dovresti renderlo un sito privato, altrimenti l'opzione migliore è usare robots.txt per richiedere che il sito non venga scansionato.
Jiří Vaněk
Capisco e ti ringrazio per la risposta. Pensavo di poter risolvere bloccando l'intervallo, ma hai ragione sul fatto che il bot potrebbe provenire da un IP diverso o da un nuovo intervallo. Cercherò di affidarmi al file robots.txt e spero che tutto andrà bene.
mohadese esmaeeli
È corretta la convinzione prevalente che avere un gran numero di pagine indicizzate all'interno di un sito non abbia alcun effetto sull'indicizzazione delle altre pagine?
Supporto WPBeginner
Solo perché hai pagine indicizzate sul tuo sito non significa che non puoi avere altre pagine nascoste ai crawler per impedirne l'indicizzazione.
Amministratore
Moinuddin Waheed
Sono stato diverse volte a pensare, mentre nella scheda impostazioni della dashboard di WordPress, al perché qualcuno vorrebbe scoraggiare Google dal mostrare la pagina o il post alla visibilità. Oggi, infatti, dopo aver letto questo post, ho capito le ragioni per cui qualcuno scoraggerebbe l'indicizzazione da parte dei motori di ricerca.
È molto semplice da fare, infatti. Dobbiamo selezionare la casella nella sezione "Lettura" della scheda impostazioni, dove chiede di scoraggiare i motori di ricerca dalla visibilità.
Grazie per aver chiarito il mio dubbio di lunga data.
Supporto WPBeginner
Siamo lieti di condividere perché qualcuno utilizzerebbe la casella di controllo
Amministratore
Charlotte
Era proprio quello che stavo cercando. Dopo aver spostato il mio sito di sviluppo sul sito live del cliente, non volevo che traffico tornasse a quello vecchio. Grazie!
Supporto WPBeginner
Siamo lieti che la nostra guida sia stata utile
Amministratore
Ryan
Ho eliminato definitivamente il mio sito da WordPress e quando cerco il mio nome su Google, il vecchio sito WordPress appare ancora, nonostante sia stato eliminato. Qualcuno dal team di supporto può aiutarmi a eliminarlo? Non voglio che i miei clienti si confondano con il mio sito attuale e attivo.
Supporto WPBeginner
Per il tuo vecchio sito nei risultati su Google, se esegui la scansione del sito come Google, puoi contribuire ad aggiornare la cache di Google. Per ulteriori modi per rimuovere completamente il sito, dovresti dare un'occhiata al nostro post qui: https://014.leahstevensyj.workers.dev/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
Amministratore
Divyanshu
se disabilitiamo l'indicizzazione del sito WordPress per proteggerlo dagli hacker, ciò influirà sull'indicizzazione di Google o no, e in tal caso come permettere a Google di indicizzare le mie pagine
Andy
Non sembra funzionare. Ho seguito le istruzioni con fiducia. Il mio sottodominio è ancora visibile pubblicamente.
Supporto WPBeginner
Ciao Andy,
Se hai protetto con password la directory del tuo sottodominio, rivedi nuovamente le sue impostazioni in cPanel. Se tutto sembra a posto, potresti voler contattare il tuo provider di hosting WordPress.
Amministratore
Jay
Sì, ciò che è scritto sotto “Scoraggia i motori di ricerca dall'indicizzare il sito” è molto vero. Google non sembra rispettarlo
chinju
Ciao, ho un dubbio sul fatto che se un sito web ha 1 milione di sottopagine, i motori di ricerca blocchino tutte le sottopagine quando aggiungiamo
User-agent: *
Disallow: /
nel file robots?
Shekhar Sardar
Sì. Aggiungere Disallow:/ in robot.txt dirà a tutti i bot dei motori di ricerca di non eseguire la scansione di questo sito o pagina web.
anand
voglio che le pagine di iscrizione e la pagina del profilo del membro non siano indicizzate da nessun motore di ricerca, come fare????
Kenneth
Ho provato questo ma ha compromesso il mio .htccess per la mia installazione di Wordpress.
Quindi procedi con cautela.
Joojo
Salve,
Attualmente ho un blog Wordpress.com (Piano Gratuito) e desidero vendere la mia roba digitale online senza creare un sito web e affidandomi interamente al blog, all'inizio (sono stato a corto di fondi). Pertanto, andando avanti con questo pensiero ho apportato modifiche al mio blog, sotto questo dopo aver effettuato il pagamento, il cliente viene reindirizzato alla mia pagina del blog con un link per scaricare il contenuto digitale. Quindi, voglio solo che il gateway di pagamento sia in grado di reindirizzare il traffico alla pagina di download sul mio blog e non farlo ricercare dai motori di ricerca, ecc. né che sia elencato nell'elenco Post/Pagine di Wordpress.com, ecc. perché se la pagina di download è ricercabile dai motori di ricerca ed è elencata nei post del mio blog, non guadagnerei nulla perché il cliente scaricherebbe direttamente il contenuto senza effettuare il pagamento.
Cordiali saluti,
Joojo.
Jennifer
Sto imparando WP ora e sto progettando il mio sito. Per ora, non voglio che il sito venga scansionato, quindi ho selezionato la casella di visibilità dei motori di ricerca e ho aggiunto la protezione con password. Tuttavia, tra qualche mese, vorrò che il sito vada online e vorrò visitatori sul mio sito. Se deseleziono la casella di visibilità dei motori di ricerca e rimuovo la protezione con password, l'intestazione robots nofollow verrà aggiornata automaticamente? O dovrò aggiornarla manualmente nella sezione dell'intestazione?
Supporto WPBeginner
Sì, lo sarà. Tuttavia, per essere più sicuri, è necessario inviare la sitemap xml del tuo sito utilizzando gli strumenti per webmaster di Google. Questo ti permetterà di vedere se ci sono errori di scansione sul tuo sito.
Amministratore
Ryan
È possibile bloccare solo pagine specifiche del tuo sito, piuttosto che bloccare l'intero sito?
Chad
WordPress offre un'opzione di protezione tramite password su qualsiasi tua pagina e post. Cambia semplicemente la "visibilità" nella modifica della tua pagina o post in "protetto da password".
Staff di WPBeginner
Dai un'occhiata a questa discussione.
Patrick
Come posso fare in modo che Google e Bing scansionino il mio sito, impedendo al contempo a SeMalt di scansionarlo. SeMalt invia traffico al mio sito facendolo sembrare che abbia più visite, tuttavia questi clic lasciano subito il mio sito e, facendo così, aumentano il bounce rate del mio sito WordPress.
Qualsiasi aiuto in merito sarebbe molto apprezzato.
Patrick
Pawan Reddy
Grazie per questo consiglio. Non sapevo fosse possibile