{"id":22916,"date":"2026-08-30T09:36:09","date_gmt":"2026-08-30T07:36:09","guid":{"rendered":"https:\/\/www.curiaweb.ch\/?post_type=docs&p=22916"},"modified":"2026-08-30T09:36:10","modified_gmt":"2026-08-30T07:36:10","password":"","slug":"spiegazione-del-file-robots-txt","status":"publish","type":"docs","link":"https:\/\/www.curiaweb.ch\/it\/hilfe\/seo-monitoring\/robots-txt-erklaert\/","title":{"rendered":"robots.txt spiegato: gestire correttamente i crawler dei motori di ricerca"},"content":{"rendered":"

Il file robots.txt<\/code> fa parte degli strumenti fondamentali dell'ottimizzazione tecnica per i motori di ricerca. Con essa puoi indicare ai crawler dei motori di ricerca quali aree del tuo sito web possono essere scansionate e quali no.<\/p>\n\n\n\n

Tuttavia, una configurazione errata pu\u00f2 avere conseguenze notevoli. Nel peggiore dei casi, a Google viene impedito di indicizzare parti importanti o addirittura l'intero sito web.<\/p>\n\n\n\n

\u00c8 altrettanto importante capire cosa robots.txt<\/code> non pu\u00f2: non \u00e8 uno strumento affidabile per rimuovere pagine web dall'indice di Google.<\/p>\n\n\n\n

In questo articolo spieghiamo come una robots.txt<\/code> \u00e8 strutturato, che User-agent<\/code>, Vieta<\/code> e Consenti<\/code> significa come inserire una sitemap e quali errori dovresti assolutamente evitare.<\/p>\n\n\n\n

\n

Breve spiegazione:<\/strong> Muori robots.txt<\/code> controlla principalmente quali URL i crawler dei motori di ricerca possono visitare. Controlla quindi Scansione<\/strong>. Se una pagina web debba essere indicizzata o meno \u00e8 un'altra questione.<\/p>\n<\/blockquote>\n\n\n\n

Che cos'\u00e8 un file robots.txt?<\/h2>\n\n\n\n

Muori robots.txt<\/code> \u00e8 un semplice file di testo che si trova nella directory radice di un host.<\/p>\n\n\n\n

Nel caso di un sito web all'indirizzo:<\/p>\n\n\n\n

\nhttps:\/\/example.com\n<\/div><\/figure>\n\n\n\n

si trova il file in:<\/p>\n\n\n\n

https:\/\/example.com\/robots.txt<\/code><\/p>\n\n\n\n

I crawler dei motori di ricerca recuperano questo file e verificano quali regole di scansione si applicano a loro.<\/p>\n\n\n\n

Dove deve trovarsi il file robots.txt?<\/h2>\n\n\n\n

Il file deve trovarsi direttamente nella directory principale del rispettivo host.<\/p>\n\n\n\n

Corretto:<\/p>\n\n\n\n

https:\/\/example.com\/robots.txt<\/code><\/p>\n\n\n\n

Un file in:<\/p>\n\n\n\n

https:\/\/example.com\/verzeichnis\/robots.txt<\/code><\/p>\n\n\n\n

non \u00e8 la robots.txt<\/code> per l'intero sito web.<\/p>\n\n\n\n

Il nome del file deve robots.txt<\/code> lauten.<\/p>\n\n\n\n

Il file robots.txt si applica sempre al rispettivo host<\/h2>\n\n\n\n

Una importante particolarit\u00e0 tecnica \u00e8 il campo di applicazione.<\/p>\n\n\n\n

Il file in:<\/p>\n\n\n\n

https:\/\/example.com\/robots.txt<\/code><\/p>\n\n\n\n

si applica agli URL sotto questo host e protocollo.<\/p>\n\n\n\n

Non si applica automaticamente a:<\/p>\n\n\n\n

\nhttps:\/\/shop.example.com\n<\/div><\/figure>\n\n\n\n

Se un sottodominio richiede regole di scansione proprie, ha conseguentemente bisogno di una propria robots.txt<\/code> sotto il loro host.<\/p>\n\n\n\n

Anche i diversi protocolli e le diverse porte vengono considerati tecnicamente separati.<\/p>\n\n\n\n

Com'\u00e8 strutturata una robots.txt?<\/h2>\n\n\n\n

Un file semplice potrebbe apparire cos\u00ec, ad esempio:<\/p>\n\n\n\n

User-agent: *\nDisallow: \/intern\/\n\nSitemap: https:\/\/example.com\/sitemap.xml<\/code><\/pre>\n\n\n\n
Gli elementi pi\u00f9 importanti sono:<\/p>\n\n\n\n
Istruzione<\/th>Significato<\/th><\/tr><\/thead>
User-agent<\/code><\/td>Determina a quale crawler si applicano le seguenti regole<\/td><\/tr>
Vieta<\/code><\/td>Impedisce il crawling dei percorsi URL corrispondenti<\/td><\/tr>
Consenti<\/code><\/td>Consente la scansione dei percorsi URL corrispondenti all'interno delle rispettive categorie di regole<\/td><\/tr>
Mappa del sito<\/code><\/td>Fornisce l'indirizzo completo di una sitemap<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Cosa significa User-agent?<\/h2>\n\n\n\n
Con User-agent<\/code> viene definito per quale crawler \u00e8 destinato un gruppo di regole.<\/p>\n\n\n\n
L'asterisco sta per tutti i crawler a cui si applica questo gruppo generale:<\/p>\n\n\n\n
User-agent: *<\/code><\/pre>\n\n\n\n
Una regola pu\u00f2 anche essere scritta in modo specifico per un determinato crawler.<\/p>\n\n\n\n
Per esempio:<\/p>\n\n\n\n
User-agent: Googlebot\nDisallow: \/beispiel\/<\/code><\/pre>\n\n\n\n
Con ci\u00f2 questo gruppo di regole si rivolge specificamente a Googlebot.<\/p>\n\n\n\n
Cosa significa Disallow?<\/h2>\n\n\n\n
Con Vieta<\/code> puoi escludere un percorso URL per il rispettivo crawler dal crawling.<\/p>\n\n\n\n
Esempio:<\/p>\n\n\n\n
User-agent: *\nDisallow: \/intern\/<\/code><\/pre>\n\n\n\n
In questo modo viene comunicato ai rispettivi crawler che gli URL sotto questo percorso non devono essere scansionati.<\/p>\n\n\n\n
Per esempio:<\/p>\n\n\n\n
https:\/\/example.com\/intern\/\n\nhttps:\/\/example.com\/intern\/datei.html\n\nhttps:\/\/example.com\/intern\/unterordner\/<\/code><\/pre>\n\n\n\n
Cosa significa una direttiva Disallow vuota?<\/h2>\n\n\n\n
Un vuoto Vieta<\/code>L'istruzione non blocca alcun percorso.<\/p>\n\n\n\n
Esempio:<\/p>\n\n\n\n
User-agent: *\nDisallow:<\/code><\/pre>\n\n\n\n
Ci\u00f2 non esclude nulla dal crawling per questo gruppo di regole.<\/p>\n\n\n\n
Tuttavia, se il tuo sito web pu\u00f2 essere completamente scansionato, una regola di questo tipo non \u00e8 strettamente necessaria. In linea di principio, un sito web pu\u00f2 anche fare a meno di limitazioni robots.txt<\/code>-Le regole vengono scansionate.<\/p>\n\n\n\n
Bloccare l'intero sito web per i crawler<\/h2>\n\n\n\n
La seguente regola \u00e8 particolarmente importante:<\/p>\n\n\n\n
User-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n
Istruisce i crawler interessati a non eseguire la scansione dell'intero sito web.<\/p>\n\n\n\n
\n
Attenzione:<\/strong> Questa configurazione non deve rimanere accidentalmente attiva su un sito web pubblicamente indicizzabile. Specialmente dopo il passaggio da un ambiente di sviluppo o di staging al sito web di produzione, dovresti robots.txt<\/code> controllare.<\/p>\n<\/blockquote>\n\n\n\n
Significa permettere.<\/h2>\n\n\n\n
Con Consenti<\/code> un determinato percorso all'interno di una struttura altrimenti bloccata pu\u00f2 essere espressamente autorizzato per il crawling.<\/p>\n\n\n\n
Un esempio semplificato:<\/p>\n\n\n\n
User-agent: *\nDisallow: \/bereich\/\nAllow: \/bereich\/oeffentlich\/<\/code><\/pre>\n\n\n\n
In questo modo l'area viene fondamentalmente bloccata, mentre \u00e8 consentito effettuare il crawling del percorso specificamente autorizzato.<\/p>\n\n\n\n
Allow e Disallow possono essere usati insieme<\/h2>\n\n\n\n
I siti Web pi\u00f9 complessi possono richiedere regole in cui viene esclusa un'area pi\u00f9 ampia e viene nuovamente autorizzata una specifica risorsa o sottostruttura.<\/p>\n\n\n\n
A ci\u00f2 si dovrebbe prestare particolare attenzione, poich\u00e9 piccole modifiche al pattern dell'URL possono avere un effetto diverso da quello previsto.<\/p>\n\n\n\n
\n
Consiglio pratico:<\/strong> Stai zitto robots.txt<\/code> Il pi\u00f9 semplice possibile. Dovresti usare regole complesse solo se c'\u00e8 un motivo tecnico specifico.<\/p>\n<\/blockquote>\n\n\n\n
I robots.txt non sono una funzione di sicurezza<\/h2>\n\n\n\n
Un' Vieta<\/code>-La regola non protegge i dati riservati.<\/p>\n\n\n\n
Il file \u00e8 accessibile pubblicamente e le sue regole possono essere consultate da chiunque.<\/p>\n\n\n\n
Se, ad esempio, inserisci quanto segue:<\/p>\n\n\n\n
User-agent: *\nDisallow: \/geheime-dokumente\/<\/code><\/pre>\n\n\n\n
allora il sentiero non \u00e8 protetto dai visitatori in questo modo.<\/p>\n\n\n\n
Chi conosce l'URL pu\u00f2 continuare ad accedervi direttamente, a meno che non vi sia una vera protezione degli accessi.<\/p>\n\n\n\n
\n
Importante:<\/strong> I contenuti riservati devono essere protetti con meccanismi di accesso adeguati. Un robots.txt<\/code> non vi \u00e8 alcuna protezione tramite password n\u00e9 alcun controllo degli accessi.<\/p>\n<\/blockquote>\n\n\n\n
I file robots.txt e noindex non sono la stessa cosa<\/h2>\n\n\n\n
Questa \u00e8 la differenza pi\u00f9 importante dell'intero articolo.<\/p>\n\n\n\n
robots.txt<\/th>noindex<\/th><\/tr><\/thead>
controlla il crawling<\/td>controlla l'indicizzazione<\/td><\/tr>
\u00e8 disponibile come file di testo centrale<\/td>viene fornito, ad esempio, come istruzione meta robots o intestazione HTTP<\/td><\/tr>
pu\u00f2 impedire il recupero di un URL<\/td>indica ai motori di ricerca di non indicizzare la pagina<\/td><\/tr>
nessun strumento affidabile per rimuovere una pagina web da Google<\/td>destinato all'esclusione di una pagina accessibile dall'indice<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Perch\u00e9 un URL bloccato pu\u00f2 comunque comparire su Google?<\/h2>\n\n\n\n
Google pu\u00f2 conoscere un URL anche in altri modi, ad esempio tramite i link di altri siti web.<\/p>\n\n\n\n
Se l'URL tramite robots.txt<\/code> \u00e8 escluso dal crawling, Google non pu\u00f2 recuperarne il contenuto effettivo normalmente.<\/p>\n\n\n\n
L'URL potrebbe comunque essere noto a Google.<\/p>\n\n\n\n
Ecco perch\u00e9 la seguente supposizione \u00e8 errata:<\/p>\n\n\n\n
Disallow = assolutamente escluso su Google<\/code><\/p>\n\n\n\n
Un da robots.txt<\/code> L'URL bloccato potrebbe in determinate circostanze continuare ad apparire come URL nei risultati di ricerca.<\/p>\n\n\n\n
Perch\u00e9 noindex non funziona se a Google non \u00e8 permesso di indicizzare la pagina?<\/h2>\n\n\n\n
Supponendo che una pagina contenga:<\/p>\n\n\n\n
<meta name=\"robots\" content=\"noindex\"><\/code><\/pre>\n\n\n\n
e allo stesso tempo blocca il robots.txt<\/code> Google dal recupero di questa pagina.<\/p>\n\n\n\n
Allora sorge un problema:<\/p>\n\n\n\n
robots.txt\nblocca il crawling\n        \u2193\nGoogle non recupera la pagina\n        \u2193\nGoogle non vede il tag noindex<\/code><\/pre>\n\n\n\n
Affinch\u00e9 Google possa noindex<\/code>Per poter riconoscere il comando, il crawler deve avere il permesso di accedere alla pagina in questione.<\/p>\n\n\n\n
\n
Nota:<\/strong> Se una pagina pubblicamente accessibile deve essere esclusa dall'indice di Google, non devi contemporaneamente impedire a Google di noindex<\/code>Istruzione da vedere.<\/p>\n<\/blockquote>\n\n\n\n
Si pu\u00f2 scrivere noindex nel file robots.txt?<\/h2>\n\n\n\n
No. Google supporta noindex<\/code> non come regola all'interno della robots.txt<\/code>.<\/p>\n\n\n\n
Dovresti quindi evitare di usare quanto segue:<\/p>\n\n\n\n
User-agent: *\nNoindex: \/beispiel\/<\/code><\/pre>\n\n\n\n
Se non si desidera che una pagina HTML venga indicizzata, \u00e8 possibile utilizzare, ad esempio, un tag meta robots:<\/p>\n\n\n\n
<meta name=\"robots\" content=\"noindex\"><\/code><\/pre>\n\n\n\n
Per altri tipi di risorse, a seconda del caso d'uso, \u00e8 possibile utilizzare un intestazione HTTP corrispondente.<\/p>\n\n\n\n
Quando \u00e8 utile il file robots.txt?<\/h2>\n\n\n\n
Un' robots.txt<\/code> \u00e8 particolarmente utile se desideri controllare il crawling di determinate aree di URL.<\/p>\n\n\n\n
Ci\u00f2 pu\u00f2 essere rilevante, ad esempio, per i siti Web che possiedono un numero elevato di varianti di URL generate tecnicamente.<\/p>\n\n\n\n
I casi possibili sono:<\/p>\n\n\n\n
determinate aree tecniche\nURL di ricerca o filtro non necessari\ndeterminate strutture di URL generate automaticamente\naccesso dei crawler a singole risorse\ngrandi volumi di URL di scansione irrilevanti<\/code><\/pre>\n\n\n\n
Se una limitazione sia sensata, tuttavia, deve essere valutato per il sistema specifico.<\/p>\n\n\n\n
Non ogni URL tecnico deve essere bloccato<\/h2>\n\n\n\n
Un lungo robots.txt<\/code> non \u00e8 automaticamente migliore di una corta.<\/p>\n\n\n\n
Nel caso di siti web pi\u00f9 piccoli e ben strutturati, spesso non vi \u00e8 alcun motivo di bloccare preventivamente numerosi directory.<\/p>\n\n\n\n
Ogni regola aggiuntiva aumenta piuttosto il rischio di escludere accidentalmente contenuti o risorse importanti.<\/p>\n\n\n\n
Che ne \u00e8 di WordPress?<\/h2>\n\n\n\n
I siti Web WordPress possiedono spesso un sistema fornito automaticamente o dinamicamente robots.txt<\/code>.<\/p>\n\n\n\n
A seconda della configurazione e dei plugin utilizzati, il loro contenuto pu\u00f2 variare.<\/p>\n\n\n\n
Ecco perch\u00e9 non dovresti copiare ciecamente un file \u201erobots.txt WordPress ottimizzato\u201c di qualcun altro da Internet.<\/p>\n\n\n\n
Apri prima:<\/p>\n\n\n\n
https:\/\/deine-domain.ch\/robots.txt<\/code><\/p>\n\n\n\n
e verifica quali regole il tuo sito web sta effettivamente inviando.<\/p>\n\n\n\n
L'impostazione di WordPress per la visibilit\u00e0 ai motori di ricerca<\/h2>\n\n\n\n
WordPress dispone nelle impostazioni di un'opzione per impedire ai motori di ricerca di indicizzare il sito web.<\/p>\n\n\n\n
Questa impostazione \u00e8 rilevante, ad esempio, durante una fase di sviluppo.<\/p>\n\n\n\n
Per un sito web pubblicamente accessibile, dopo il go-live devi assolutamente verificare che una precedente configurazione di sviluppo non sia rimasta attiva per errore.<\/p>\n\n\n\n
L'output tecnico che ne deriva pu\u00f2 dipendere dalla versione di WordPress, dalla configurazione e dai plugin utilizzati. Perci\u00f2, ci\u00f2 che conta davvero \u00e8 sempre il sito web effettivamente pubblicato.<\/p>\n\n\n\n
Gestire correttamente i siti di staging<\/h2>\n\n\n\n
Un sito di sviluppo o di staging normalmente non dovrebbe apparire pubblicamente nei motori di ricerca.<\/p>\n\n\n\n
Una pura robots.txt<\/code>-Tuttavia, il blocco non costituisce una protezione completa contro questo.<\/p>\n\n\n\n
Per gli ambienti di sviluppo non pubblici, una protezione di accesso reale \u00e8 molto pi\u00f9 affidabile.<\/p>\n\n\n\n
Per esempio:<\/p>\n\n\n\n
Sito di staging\n\u2193\nAutenticazione \/\nProtezione tramite password\n\u2193\nnon accessibile al pubblico<\/code><\/pre>\n\n\n\n
In questo modo ti proteggi non solo dall'indicizzazione dei motori di ricerca, ma anche da accessi pubblici indesiderati.<\/p>\n\n\n\n
Controllare robots.txt dopo un rilancio<\/h2>\n\n\n\n
Dopo un rilancio del sito web appartiene la robots.txt<\/code> alle file che dovresti assolutamente controllare.<\/p>\n\n\n\n
Controlla in particolare:<\/p>\n\n\n\n
Il sito web di produzione \u00e8 scansionabile?\n\n\u00c8 attivo per errore il comando Disallow: \/?\n\nCi sono aree importanti bloccate?\n\nLe risorse CSS\/JS importanti sono accessibili?\n\nL'indirizzo della sitemap \u00e8 corretto?\n\nLe regole provengono ancora dall'ambiente di sviluppo?<\/code><\/pre>\n\n\n\n
Se contemporaneamente \u00e8 stata modificata la struttura degli URL, dovresti inoltre controllare reindirizzamenti, sitemap e stato di indicizzazione.<\/p>\n\n\n\n
Non bloccare inutilmente file CSS e JavaScript importanti<\/h2>\n\n\n\n
Google esegue il rendering delle pagine web moderne e per farlo ha spesso bisogno di risorse CSS, JavaScript e di altro tipo.<\/p>\n\n\n\n
Se risorse importanti tramite le robots.txt<\/code> se viene bloccata, Google potrebbe non essere in grado di elaborare e visualizzare una pagina nello stesso modo in cui la vede un normale visitatore.<\/p>\n\n\n\n
Ecco perch\u00e9 non dovresti bloccare in modo generalizzato le directory CSS e JavaScript solo perch\u00e9 questi file in s\u00e9 non sono pensati come normali risultati di ricerca.<\/p>\n\n\n\n
Google deve poter capire la pagina il pi\u00f9 possibile come un visitatore<\/h2>\n\n\n\n
Se il layout, la navigazione o i contenuti essenziali dipendono da JavaScript o CSS, il blocco di queste risorse pu\u00f2 complicare l'elaborazione.<\/p>\n\n\n\n
In caso di problemi, puoi utilizzare lo strumento di controllo URL della Google Search Console e analizzare in che modo Google elabora la pagina in questione.<\/p>\n\n\n\n
Puoi trovare maggiori informazioni sulla verifica dell'URL all'indirizzo Google non indicizza il mio sito web: verifica le cause<\/a>.<\/p>\n\n\n\n
Specificare una Sitemap in robots.txt<\/h2>\n\n\n\n
Muori robots.txt<\/code> pu\u00f2 fare riferimento a una sitemap XML.<\/p>\n\n\n\n
Esempio:<\/p>\n\n\n\n
User-agent: *\nDisallow:\n\nSitemap: https:\/\/example.com\/sitemap.xml<\/code><\/pre>\n\n\n\n
L'indirizzo della Sitemap deve essere specificato per intero.<\/p>\n\n\n\n
Se il tuo sito web utilizza un indice delle sitemap, questo pu\u00f2 essere specificato di conseguenza:<\/p>\n\n\n\n
Mappa del sito: https:\/\/example.com\/sitemap_index.xml<\/code><\/pre>\n\n\n\n
Spiegheremo come funzionano le sitemap XML e come inviarle a Google su Mappa del sito XML: cosa fa e come inviarla a Google<\/a>.<\/p>\n\n\n\n
La Sitemap e il file robots.txt hanno scopi contrastanti<\/h2>\n\n\n\n
In modo semplice puoi ricordare la differenza cos\u00ec:<\/p>\n\n\n\n
XML-Sitemap\n\n\"Ecco gli URL importanti\nche dovresti conoscere.\"\n\n\nrobots.txt\n\n\"Non devi scansionare\nqueste aree di URL.\"<\/code><\/pre>\n\n\n\n
Ecco perch\u00e9 entrambe le configurazioni dovrebbero coincidere logicamente.<\/p>\n\n\n\n
Non consigliare e bloccare un URL contemporaneamente<\/h2>\n\n\n\n
Se un URL \u00e8 presente come pagina importante e indicizzabile nella tua sitemap XML, non dovrebbe contemporaneamente essere robots.txt<\/code> essere esclusi dal crawling.<\/p>\n\n\n\n
Una tale configurazione genera segnali contraddittori:<\/p>\n\n\n\n
Sitemap:\n\"Questo URL \u00e8 rilevante.\"\n\nrobots.txt:\n\"Non recuperare questo URL.\"<\/code><\/pre>\n\n\n\n
Verifica quindi sempre entrambi i lati della configurazione in caso di problemi di indicizzazione.<\/p>\n\n\n\n
Usare i commenti in robots.txt<\/h2>\n\n\n\n
I commenti possono essere con un #<\/code> essere avviate.<\/p>\n\n\n\n
Esempio:<\/p>\n\n\n\n
# Non eseguire il crawling dell'area tecnica\nUser-agent: *\nDisallow: \/intern\/<\/code><\/pre>\n\n\n\n
Tutto dopo il #<\/code> viene trattato come un commento in questa riga.<\/p>\n\n\n\n
I commentari possono aiutare a documentare perch\u00e9 esiste una determinata regola nei file pi\u00f9 complessi.<\/p>\n\n\n\n
distinguere tra maiuscole e minuscole nei percorsi degli URL<\/h2>\n\n\n\n
Nei percorsi degli URL in Consenti<\/code>\u2013 e Vieta<\/code>-Regeln ist die Gro\u00df- und Kleinschreibung relevant.<\/p>\n\n\n\n
Ad esempio sono:<\/p>\n\n\n\n
\/Immagini\/\n\n\/immagini\/<\/code><\/pre>\n\n\n\n
non automaticamente lo stesso pattern di URL.<\/p>\n\n\n\n
Scrivi quindi le regole in modo appropriato rispetto ai percorsi URL effettivamente utilizzati.<\/p>\n\n\n\n
Caratteri jolly nel file robots.txt<\/h2>\n\n\n\n
Google supporta, tra le altre cose, l'asterisco nelle regole dei percorsi *<\/code> come segnaposto.<\/p>\n\n\n\n
Un esempio:<\/p>\n\n\n\n
User-agent: Googlebot\nDisallow: \/*.pdf<\/code><\/pre>\n\n\n\n
Questo consente di catturare i percorsi degli URL in base a un modello.<\/p>\n\n\n\n
Dovresti usare tali regole con cautela, poich\u00e9 possono interessare molte pi\u00f9 URL rispetto a una semplice regola di directory.<\/p>\n\n\n\n
Il simbolo del dollaro per la fine di un URL<\/h2>\n\n\n\n
Google supporta anche $<\/code>, per indicare la fine di un modello di URL.<\/p>\n\n\n\n
Esempio:<\/p>\n\n\n\n
User-agent: Googlebot\nDisallow: \/*.pdf$<\/code><\/pre>\n\n\n\n
Il modello prende di mira gli URL il cui percorso corrisponde a .pdf<\/code> finisce.<\/p>\n\n\n\n
Un URL con caratteri aggiuntivi o parametri secondo questo schema pu\u00f2 quindi essere trattato in modo diverso.<\/p>\n\n\n\n
\n
Consiglio pratico:<\/strong> I caratteri jolly sono potenti, ma inclini agli errori. Per un normale sito web aziendale non dovresti usare pattern complessi, se regole semplici raggiungono lo stesso scopo.<\/p>\n<\/blockquote>\n\n\n\n
Quale regola prevale in caso di sovrapposizioni?<\/h2>\n\n\n\n
Se diversi Consenti<\/code>\u2013 e Vieta<\/code>Se pi\u00f9 regole corrispondono a un URL, Google valuta la regola specifica corrispondente in base alla lunghezza del percorso corrispondente.<\/p>\n\n\n\n
Un esempio semplificato:<\/p>\n\n\n\n
User-agent: *\nDisallow: \/ordner\/\nAllow: \/ordner\/oeffentlich\/<\/code><\/pre>\n\n\n\n
Per un URL all'indirizzo:<\/p>\n\n\n\n
\nhttps:\/\/example.com\/ordner\/oeffentlich\/seite\n<\/div><\/figure>\n\n\n\n
\u00e8 la pi\u00f9 specifica Consenti<\/code>-Regola determinante.<\/p>\n\n\n\n
Proprio nel caso di insiemi di regole complessi, dovresti quindi considerare non solo l'ordine delle righe.<\/p>\n\n\n\n
Crawl-delay e Google<\/h2>\n\n\n\n
Manica robots.txt<\/code>Gli esempi su Internet contengono un'istruzione come:<\/p>\n\n\n\n
Crawl-delay: 10<\/code><\/pre>\n\n\n\n
Google supporta ritardo di scansione<\/code> nel robots.txt<\/code> non.<\/p>\n\n\n\n
Non dovresti quindi usare questa istruzione come metodo per controllare la velocit\u00e0 di scansione di Googlebot.<\/p>\n\n\n\n
non riempire inutilmente il file robots.txt con regole estranee<\/h2>\n\n\n\n
Su Internet si trovano numerosi file precompilati con lunghe liste di bot e regole.<\/p>\n\n\n\n
Non dovresti accettare passivamente modelli del genere.<\/p>\n\n\n\n
Una configurazione esterna pu\u00f2:<\/p>\n\n\n\n
essere destinato a un altro CMS\ncontenere regole obsolete\nbloccare risorse importanti\ncontenere regole per bot non necessarie\nnon corrispondere alla tua struttura degli URL\nrendere pi\u00f9 difficile la tracciabilit\u00e0 di errori futuri<\/code><\/pre>\n\n\n\n
Un file breve, comprensibile e documentato \u00e8 spesso la soluzione migliore.<\/p>\n\n\n\n
robots.txt e crawler di IA<\/h2>\n\n\n\n
Anche altri sistemi automatizzati possono utilizzare i propri nomi di user-agent e rispettare il protocollo di esclusione dei robot.<\/p>\n\n\n\n
Se e come un determinato servizio interpreti le regole di crawling dipende dal rispettivo fornitore e crawler.<\/p>\n\n\n\n
Non dovresti quindi dare per scontato che una singola regola per Googlebot<\/code> riguarda automaticamente tutti i crawler di motori di ricerca, intelligenza artificiale, analisi e di altro tipo.<\/p>\n\n\n\n
Se desideri controllare in modo mirato un determinato crawler, dovresti verificarne la documentazione ufficiale aggiornata e la designazione dello user-agent.<\/p>\n\n\n\n
verificare robots.txt pubblicamente nel browser<\/h2>\n\n\n\n
Il primo controllo pi\u00f9 semplice consiste nel richiamare direttamente il file:<\/p>\n\n\n\n
https:\/\/deine-domain.ch\/robots.txt<\/code><\/p>\n\n\n\n
Verifica poi:<\/p>\n\n\n\n
Il file viene visualizzato?\n\nIl contenuto \u00e8 quello previsto?\n\nC'\u00e8 Disallow: \/?\n\nVengono bloccati percorsi importanti?\n\nLa Sitemap \u00e8 corretta?\n\nCi sono vecchie regole?<\/code><\/pre>\n\n\n\n
Controllare robots.txt in Google Search Console<\/h2>\n\n\n\n
Google Search Console fornisce informazioni su quelle rilevate da Google robots.txt<\/code> pronto.<\/p>\n\n\n\n
In questo modo puoi verificare, ad esempio, quale file Google ha riconosciuto per il tuo sito web e se ci sono problemi durante il recupero.<\/p>\n\n\n\n
Per un URL specifico \u00e8 inoltre importante il controllo degli URL, se desideri verificare se Google \u00e8 in grado di eseguire il crawling della pagina.<\/p>\n\n\n\n
Dopo una modifica non limitarsi a controllare il browser<\/h2>\n\n\n\n
Se tu robots.txt<\/code>-hai modificato la regola, non dovresti solo controllare se il nuovo file \u00e8 visibile nel browser.<\/p>\n\n\n\n
Verifica inoltre uno o pi\u00f9 URL effettivamente interessati.<\/p>\n\n\n\n
Per esempio:<\/p>\n\n\n\n
Regola modificata\n        \u2193\nVerificare robots.txt nel browser\n        \u2193\nIdentificare l'URL interessato\n        \u2193\nUtilizzare il Controllo URL\n        \u2193\nControllare la scansionabilit\u00e0<\/code><\/pre>\n\n\n\n
Google pu\u00f2 memorizzare nella cache il file robots.txt<\/h2>\n\n\n\n
Google richiama la robots.txt<\/code> regolarmente e pu\u00f2 memorizzarne temporaneamente il contenuto.<\/p>\n\n\n\n
Pertanto, una modifica non deve necessariamente essere presa in considerazione da ogni scansione nello stesso secondo.<\/p>\n\n\n\n
Quando hai risolto un blocco critico, dovresti controllare lo stato attuale e dare a Google il tempo di recuperare ed elaborare nuovamente la modifica.<\/p>\n\n\n\n
Cosa succede se il file robots.txt non \u00e8 raggiungibile?<\/h2>\n\n\n\n
Il comportamento di un crawler dipende anche dallo stato HTTP che robots.txt<\/code> fornisce.<\/p>\n\n\n\n
Un'inesistenza permanente robots.txt<\/code>Il documento non \u00e8 la stessa cosa di un errore temporaneo del server durante il recupero.<\/p>\n\n\n\n
Pertanto, non dovresti sperimentare intenzionalmente con gli stati di errore per controllare il crawling.<\/p>\n\n\n\n
Per un sito web normale, la configurazione desiderata dovrebbe essere chiaramente e affidabilmente accessibile.<\/p>\n\n\n\n
Spieghiamo le basi delle risposte HTTP su Codici di stato HTTP spiegati: 200, 301, 404, 403 e 500<\/a>.<\/p>\n\n\n\n
robots.txt e 404<\/h2>\n\n\n\n
Se non robots.txt<\/code> esiste e il relativo recupero restituisce un normale stato di \u201enon trovato\u201c, Google lo tratta fondamentalmente come se non vi fossero limitazioni di scansione da parte di un file robots.txt.<\/p>\n\n\n\n
Questo per\u00f2 non significa che tu debba creare intenzionalmente un file difettoso.<\/p>\n\n\n\n
Una configurazione esistente e comprensibile \u00e8 solitamente pi\u00f9 semplice per la manutenzione e la diagnostica.<\/p>\n\n\n\n
Verificare il file robots.txt di un nuovo sito web<\/h2>\n\n\n\n
Prima del lancio di un nuovo sito web, dovresti controllare i seguenti punti:<\/p>\n\n\n\n
robots.txt accessibile?\n\u2193\nnessun blocco totale accidentale?\n\u2193\npagine importanti indicizzabili?\n\u2193\nrisorse importanti indicizzabili?\n\u2193\nindirizzo della sitemap corretto?\n\u2193\ncontrollare noindex separatamente?\n\u2193\nSearch Console configurata?\n\u2193\ntestare gli URL importanti?<\/code><\/pre>\n\n\n\n
robots.txt dopo un cambio di dominio<\/h2>\n\n\n\n
Durante un cambio di dominio dovresti robots.txt<\/code> tenere conto sia in relazione al vecchio che al nuovo dominio.<\/p>\n\n\n\n
Il nuovo sito Web non deve impedire accidentalmente a Google di effettuare la scansione.<\/p>\n\n\n\n
Allo stesso tempo, i reindirizzamenti necessari dei vecchi URL devono essere raggiungibili da Google.<\/p>\n\n\n\n
Pertanto, non bloccare indiscriminatamente il vecchio sito web se Google deve ancora poter eseguire il crawling dei suoi reindirizzamenti.<\/p>\n\n\n\n
robots.txt e reindirizzamenti<\/h2>\n\n\n\n
Se Google rimuove un vecchio URL a causa di un robots.txt<\/code>Una regola di blocco del crawler pu\u00f2 impedire a Google di recuperare normalmente un reindirizzamento configurato in quella posizione.<\/p>\n\n\n\n
Durante una migrazione, Google dovrebbe quindi poter recuperare fondamentalmente i vecchi URL pertinenti per riconoscerne i reindirizzamenti verso le nuove destinazioni.<\/p>\n\n\n\n
Ti spieghiamo come utilizzare correttamente i reindirizzamenti permanenti su Configurazione del reindirizzamento 301: reindirizzare gli URL in modo permanente<\/a>.<\/p>\n\n\n\n
considerare insieme robots.txt e codici di stato HTTP<\/h2>\n\n\n\n
Per i problemi di SEO tecnica, dovresti distinguere diversi livelli:<\/p>\n\n\n\n
robots.txt\n\u2192 Google pu\u00f2 eseguire la scansione dell'URL?\n\nHTTP-Status\n\u2192 Cosa risponde il server?\n\nnoindex\n\u2192 La pagina pu\u00f2 essere indicizzata?\n\nCanonical\n\u2192 Qual \u00e8 l'URL della versione preferita?\n\nSitemap\n\u2192 Quale URL viene segnalato come rilevante?<\/code><\/pre>\n\n\n\n
Solo l'interazione di questi segnali mostra come un URL \u00e8 configurato tecnicamente.<\/p>\n\n\n\n
Esempio: la pagina pubblica deve essere indicizzata<\/h2>\n\n\n\n
Supponendo che il seguente URL debba comparire su Google:<\/p>\n\n\n\n
\nhttps:\/\/example.com\/ratgeber\n<\/div><\/figure>\n\n\n\n
Una configurazione pulita potrebbe apparire, in forma semplificata, cos\u00ec:<\/p>\n\n\n\n
robots.txt:\nScansione consentita\n\nHTTP:\n200 OK\n\nMeta Robots:\nnessun noindex\n\nCanonical:\nhttps:\/\/example.com\/ratgeber\/\n\nSitemap:\nURL incluso\n\nLink interni:\npresenti<\/code><\/pre>\n\n\n\n
Ci\u00f2 significa che a questi livelli non vi sono evidenti contraddizioni tecniche.<\/p>\n\n\n\n
Esempio: la pagina non deve essere indicizzata<\/h2>\n\n\n\n
Una pagina accessibile pubblicamente deve poter essere scansionata da Google, ma non deve comparire nei risultati di ricerca.<\/p>\n\n\n\n
Allora il principio potrebbe essere:<\/p>\n\n\n\n
robots.txt:\nIndicizzazione consentita\n\nMeta Robots:\nnoindex<\/code><\/pre>\n\n\n\n
Google pu\u00f2 eseguire la scansione della pagina, che noindex<\/code>Riconoscere l'istruzione ed elaborarla di conseguenza.<\/p>\n\n\n\n
Esempio: area privata<\/h2>\n\n\n\n
Un'area veramente riservata non dovrebbe semplicemente essere delimitata da:<\/p>\n\n\n\n
Disallow: \/privat\/<\/code><\/pre>\n\n\n\n
\u201eessere protetto.<\/p>\n\n\n\n
Invece ha bisogno di una vera protezione dagli accessi non autorizzati.<\/p>\n\n\n\n
Contenuto privato\n        \u2193\nAccesso \/ Autenticazione\n        \u2193\nnon accessibile pubblicamente<\/code><\/pre>\n\n\n\n
La questione dell'indicizzazione sui motori di ricerca \u00e8 quindi solo una parte del controllo di accesso effettivo.<\/p>\n\n\n\n
Esempio: intero sito web bloccato accidentalmente<\/h2>\n\n\n\n
Dopo un rilancio, il file mostra:<\/p>\n\n\n\n
User-agent: *\nDisallow: \/<\/code><\/pre>\n\n\n\n
Ma il sito web deve essere scansionato pubblicamente da Google.<\/p>\n\n\n\n
Allora questa regola \u00e8 un errore di configurazione critico.<\/p>\n\n\n\n
Dopo la correzione dovresti:<\/p>\n\n\n\n
richiamare robots.txt\n        \u2193\ncontrollare la regola\n        \u2193\nverificare gli URL importanti con\nSearch Console\n        \u2193\ncontrollare la sitemap\n        \u2193\nmonitorare l'andamento dell'indicizzazione<\/code><\/pre>\n\n\n\n
Esempio: l'URL \u00e8 presente nella Sitemap e allo stesso tempo \u00e8 bloccato<\/h2>\n\n\n\n
Sitemap:\n\nhttps:\/\/example.com\/produkt\/\n\n\nrobots.txt:\n\nDisallow: \/produkt\/<\/code><\/pre>\n\n\n\n
Se la pagina di prodotto deve essere regolarmente indicizzata, questi segnali sono in contraddizione.<\/p>\n\n\n\n
La soluzione non consiste nel chiedere a Google di indicizzare pi\u00f9 spesso, ma nel correggere prima la configurazione tecnica.<\/p>\n\n\n\n
Quando dovresti effettivamente modificare robots.txt?<\/h2>\n\n\n\n
Modifica il file solo se hai un motivo concreto per farlo.<\/p>\n\n\n\n
Per esempio:<\/p>\n\n\n\n
area di crawling non necessaria identificata\nstruttura di URL generata tecnicamente\nnon deve essere indicizzata dai crawler\ncorreggere la regola errata esistente\naggiungere l'indirizzo della sitemap\ngestire un crawler specifico\nconfigurare correttamente migrazione \/ relaunch<\/code><\/pre>\n\n\n\n
\u201eVoglio migliorare il mio SEO\u201c da solo non \u00e8 ancora un motivo per aggiungere Vieta<\/code>-Integrare delle regole.<\/p>\n\n\n\n
Verificare sempre gli impatti prima di apportare modifiche<\/h2>\n\n\n\n
Una singola regola breve pu\u00f2 riguardare migliaia di URL.<\/p>\n\n\n\n
Da:<\/p>\n\n\n\n
Disallow: \/shop\/filter\/<\/code><\/pre>\n\n\n\n
e<\/p>\n\n\n\n
Disallow: \/shop\/<\/code><\/pre>\n\n\n\n
possono verificarsi effetti completamente diversi.<\/p>\n\n\n\n
Verifica quindi con precisione, prima di salvare, quali URL sono interessati da una regola.<\/p>\n\n\n\n
\n
Attenzione:<\/strong> Non fare esperimenti direttamente su un sito web di produzione con complesse robots.txt<\/code>-Regole, se non puoi valutarne chiaramente gli effetti.<\/p>\n<\/blockquote>\n\n\n\n
Errori comuni nel file robots.txt<\/h2>\n\n\n\n
Disallow: \/ su sito live\n\nusare robots.txt come noindex\n\nbloccare contemporaneamente una pagina noindex\n\n\"proteggere\" contenuti riservati solo\ncon robots.txt\n\nbloccare file CSS importanti\n\nbloccare file JavaScript importanti\n\ninserire l'URL della Sitemap in modo errato\n\nmantenere vecchie regole di staging\n\ncopiare template WordPress di terze parti\nsenza verificarli\n\nusare wildcard complicate senza\nalcuna necessit\u00e0\n\nignorare maiuscole e minuscole\n\nusare Crawl-delay per Google\n\nbloccare il vecchio dominio durante una migrazione,\nnonostante i reindirizzamenti debbano essere indicizzati<\/code><\/pre>\n\n\n\n
Checklist: verifica correttamente il file robots.txt<\/h2>\n\n\n\n
https:\/\/deine-domain.ch\/robots.txt\naprire\n        \u2193\nfile accessibile?\n        \u2193\nhost corretto?\n        \u2193\ncontrollare le regole User-agent\n        \u2193\ncontrollare le regole Disallow\n        \u2193\nDisallow: \/ presente?\n        \u2193\ncontrollare le regole Allow\n        \u2193\nverificare i caratteri jolly (wildcard)\n        \u2193\npagine importanti scansionabili?\n        \u2193\nrisorse CSS\/JS importanti scansionabili?\n        \u2193\nindirizzo della Sitemap corretto?\n        \u2193\nverificare noindex separatamente\n        \u2193\ntestare gli URL importanti\nnella Search Console\n        \u2193\nverificare nuovamente dopo le modifiche<\/code><\/pre>\n\n\n\n
Confronto tra robots.txt, noindex e sitemap<\/h2>\n\n\n\n
Utensile<\/th>Compito principale<\/th>Scopo tipico<\/th><\/tr><\/thead>
robots.txt<\/code><\/td>Controllare il crawling<\/td>Tenere i crawler lontani da determinate aree URL<\/td><\/tr>
noindex<\/code><\/td>Impedire l'indicizzazione<\/td>escludi la pagina accessibile dai risultati di ricerca<\/td><\/tr>
Mappa del sito XML<\/td>Condividi gli URL<\/td>Segnalare URL pertinenti ai motori di ricerca<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Questi tre meccanismi non si sostituiscono a vicenda.<\/p>\n\n\n\n
Un sito web tecnicamente pulito li utilizza in base al loro rispettivo compito.<\/p>\n\n\n\n
Riepilogo<\/h2>\n\n\n\n
Muori robots.txt<\/code> \u00e8 un file di testo accessibile pubblicamente nella directory principale di un host. Dice ai crawler dei motori di ricerca quali aree di URL possono scansionare e quali no.<\/p>\n\n\n\n
Con User-agent<\/code> individui il crawler in questione. Vieta<\/code> esclude i percorsi appropriati dal crawling, mentre Consenti<\/code> \u00e8 possibile sbloccare percorsi pi\u00f9 specifici. Inoltre, \u00e8 possibile specificare l'indirizzo completo di una Sitemap XML.<\/p>\n\n\n\n
La distinzione pi\u00f9 importante \u00e8: I file robots.txt controllano il crawling e noindex controlla l'indicizzazione.<\/strong> Un da robots.txt<\/code> Un URL bloccato pu\u00f2 comunque essere noto a Google e apparire nei risultati di ricerca in determinate circostanze.<\/p>\n\n\n\n
Un' robots.txt<\/code> inoltre non \u00e8 una funzione di sicurezza. I contenuti riservati richiedono una vera protezione degli accessi.<\/p>\n\n\n\n
\u00c8 necessaria particolare attenzione dopo un rilancio, in caso di modifiche del dominio e con i siti di staging. Una regola accidentale come Disallow: \/<\/code> pu\u00f2 impedire a Google di effettuare il crawling dell'intero sito web di produzione.<\/p>\n\n\n\n
Regole complesse, caratteri jolly e lunghe liste di crawler esterni dovrebbero essere usati solo se esiste un motivo tecnico specifico.<\/p>\n\n\n\n
Un buon file robots.txt non \u00e8 quindi il pi\u00f9 esteso possibile. \u00c8 tanto semplice quanto possibile e tanto specifico quanto necessario, e ogni blocco in esso contenuto ha uno scopo comprensibile.<\/strong><\/p>","protected":false},"excerpt":{"rendered":"
Die Datei robots.txt geh\u00f6rt zu den grundlegenden Werkzeugen der technischen Suchmaschinenoptimierung. Mit ihr kannst du Suchmaschinen-Crawlern mitteilen, welche Bereiche deiner Website sie crawlen d\u00fcrfen und welche nicht. Eine falsche Konfiguration kann allerdings erhebliche Auswirkungen haben. Im ung\u00fcnstigsten Fall wird Google daran gehindert, wichtige Teile oder sogar die gesamte Website zu crawlen. Genauso wichtig ist zu […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_joinchat":[],"footnotes":""},"doc_category":[85],"doc_tag":[],"class_list":["post-22916","docs","type-docs","status-publish","hentry","doc_category-seo-monitoring"],"year_month":"2026-09","word_count":3552,"total_views":"6","reactions":{"happy":"0","normal":"0","sad":"0"},"author_info":{"name":"Silvio Mazenauer","author_nicename":"admin-curia","author_url":"https:\/\/www.curiaweb.ch\/it\/author\/admin-curia\/"},"doc_category_info":[{"term_name":"SEO & Monitoring","term_url":"https:\/\/www.curiaweb.ch\/it\/hilfe-kategorie\/seo-monitoring\/"}],"doc_tag_info":[],"knowledge_base_info":[],"knowledge_base_slug":[],"_links":{"self":[{"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/docs\/22916","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/docs"}],"about":[{"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/types\/docs"}],"author":[{"embeddable":true,"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/comments?post=22916"}],"version-history":[{"count":1,"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/docs\/22916\/revisions"}],"predecessor-version":[{"id":22918,"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/docs\/22916\/revisions\/22918"}],"wp:attachment":[{"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/media?parent=22916"}],"wp:term":[{"taxonomy":"doc_category","embeddable":true,"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/doc_category?post=22916"},{"taxonomy":"doc_tag","embeddable":true,"href":"https:\/\/www.curiaweb.ch\/it\/wp-json\/wp\/v2\/doc_tag?post=22916"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}