Bloccare ChatGPT col robots.txt? Un bot su quattro sfugge
Il giorno prima di Ferragosto la stampa di settore ha riportato una riga che sta da tempo nella documentazione OpenAI: per il bot che apre le pagine quando un utente fa una domanda, «le regole del robots.txt possono non valere». Noi abbiamo il caso opposto, misurato: un robots.txt che accoglie tutti, e un firewall che blocca il 95% lo stesso.
Cosa è successo. Il rapporto «State of the Bots» di TollBit, ripreso da Search Engine Journal il 14 agosto, ha portato alla luce una frase della documentazione OpenAI: ChatGPT-User — il bot che legge la tua pagina in diretta quando un utente chiede di te — non si considera vincolato dal robots.txt, perché l'azione parte da una persona.
Chi può chiudere la scheda. Se non ti interessa né essere letto né essere consigliato dagli assistenti AI, non c'è niente da fare oggi. Il tuo firewall sta già decidendo al posto tuo, probabilmente in modo più severo di quanto immagini.
Perché vale un quarto d'ora. Perché il file che tutti modificano non è il livello che decide. Sul nostro sito l'abbiamo misurato nei due sensi: robots.txt spalancato per nome a ogni bot OpenAI, e il 95% delle richieste ChatGPT-User bloccato comunque, da due muri che abbiamo dovuto scoprire da soli.
- Il nostro caso completo, con tre misurazioni datate e il gruppo di controllo Googlebot.
- La frase esatta con cui OpenAI esenta ChatGPT-User, citata alla lettera.
- I quattro bot OpenAI in una tabella: quale obbedisce al file e quale no.
- I numeri europei di TollBit — e il dato strano su quanto poco l'Europa usi il file.
Il nostro caso: file aperto, firewall chiuso
Partiamo dai numeri nostri, perché sono il pezzo che nessun altro può darti. Il robots.txt di cittago.com è il più accogliente che il formato permetta: un commento in testa che dichiara benvenuti motori e assistenti AI, e poi Allow: / esplicito, per nome, a GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot e altri. Se il file decidesse l'accesso, ogni richiesta OpenAI verrebbe servita.
Ecco cosa succede davvero, misurato sulla nostra zona Cloudflare in tre finestre di 23 ore. Il conteggio è per stringa user-agent; «bloccata» significa 403 da uno dei due livelli: il firewall di Cloudflare al bordo, o il livello di sicurezza dell'hosting (Imunify360) sul server di origine.
| Finestra (23h) | Richieste ChatGPT-User | Bloccate da Cloudflare | Bloccate all'origine | Servite | Bloccate |
|---|---|---|---|---|---|
| 5 agosto 2026 — prima di saperlo | 191 | 157 | 18 | 16 | 92% |
| 5–6 agosto — il giorno del nostro fix su Cloudflare | 238 | 81 | 126 | 30 | 87% |
| 14–15 agosto 2026 — attuale | 645 | 165 | 450 | 30 | 95% |
La cronologia è la parte istruttiva. Il 5 agosto abbiamo scoperto il primo muro: una regola Cloudflare che bloccava interi continenti, scritta anni fa contro lo spam, che per caso prendeva in pieno l'infrastruttura — molto concentrata a Singapore — da cui partono i fetcher AI. L'abbiamo aperta lo stesso giorno, con una regola che esenta solo le richieste che Cloudflare verifica come bot autentici. Il secondo muro invece è ancora lì: il livello di sicurezza del server di origine, che può togliere solo l'hosting — e non è ancora successo. Oggi, dieci giorni dopo, 450 richieste su 645 muoiono contro quel secondo muro.
Tre note di lettura onesta. Le 165 richieste ancora fermate da Cloudflare sono traffico che non supera la verifica dei bot — in gran parte impostori che indossano la stringa ChatGPT-User, e sono un quarto del totale. E il gruppo di controllo tiene onesto l'esperimento: nella stessa finestra Googlebot ha fatto 56 richieste e bingbot 41, nessuna bloccata da nessuno dei due livelli. Claude-User, per contrasto: 21 richieste, 21 servite. I muri sono selettivi — ed è esattamente per questo che dall'esterno non li puoi dedurre. E i conti: una risposta fuori dalle tre colonne — un 404, per esempio — fa mancare una richiesta al totale; la riga del 5–6 agosto ne spiega così 237 su 238.
Leggere gli eventi del firewall di una zona accanto al suo robots.txt è il primo controllo che facciamo nel nostro lavoro di SEO per la ricerca AI: il file registra l'intenzione, il log registra la verità, e non ci è ancora capitato un sito dove le due coincidessero alla prima lettura.
Che cos'è ChatGPT-User
ChatGPT-User è lo user agent che OpenAI manda quando una conversazione ChatGPT deve aprire una pagina web in tempo reale: l'utente fa una domanda, l'assistente va a leggere la tua pagina per rispondere, e il tuo server vede una richiesta firmata ChatGPT-User/1.0. Non è un crawler che gira per il web per conto suo: OpenAI scrive che «non è usato per il crawling automatico del web».
Questa definizione regge tutto il resto: una lettura innescata da una domanda umana, nell'interpretazione di OpenAI, è la visita dell'utente, non del bot — e il robots.txt è nato per i bot.
La frase che OpenAI ha messo per iscritto
Il passaggio, citato dalla documentazione in inglese, riletta integralmente il 15 agosto 2026:
ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply.
Tradotto: «ChatGPT-User non è usato per il crawling automatico del web. Poiché queste azioni sono avviate da un utente, le regole del robots.txt possono non applicarsi». Non è formulata come un annuncio: è la descrizione stabile di come funziona il sistema, che il rapporto TollBit ha reso impossibile da ignorare. E non è nemmeno una confessione: il robots.txt è una convenzione volontaria dal 1994, e OpenAI dichiara apertamente che per le letture su richiesta dell'utente non la considera vincolante. Puoi trovare il ragionamento sensato o interessato — la conseguenza pratica non cambia: un Disallow su ChatGPT-User è una richiesta di cortesia, e la documentazione ti avvisa che la cortesia può essere negata.
Dalla stessa pagina, due dettagli che quasi nessuno cita. Primo: anche per i bot che obbediscono, una modifica al robots.txt non è istantanea — OpenAI indica «circa 24 ore» perché i suoi sistemi la recepiscano. Secondo: se permetti sia GPTBot che OAI-SearchBot, OpenAI può usare «i risultati di un solo crawl per entrambi gli scopi» — una visita, due usi, utile da sapere quando i conteggi nei tuoi log sembrano bassi.
I quattro bot OpenAI, in tabella
Confonderli è l'errore più frequente nelle discussioni su «bloccare ChatGPT», perché ognuno risponde a una leva diversa.
| User agent | Cosa fa | Il robots.txt lo vincola? |
|---|---|---|
| GPTBot | Raccoglie contenuti che possono addestrare i modelli di OpenAI | Sì — il Disallow segnala che i tuoi contenuti non vanno usati per l'addestramento |
| OAI-SearchBot | Fa emergere il tuo sito nei risultati di ricerca di ChatGPT | Sì — chi lo esclude sparisce dalle risposte di ricerca, «pur potendo ancora apparire come link di navigazione» |
| OAI-AdsBot | Visita le landing inviate come annunci ChatGPT, per validarle | Qui la documentazione non parla di robots.txt — visita solo pagine che tu stesso hai inviato come annunci |
| ChatGPT-User | Apre una pagina in diretta quando serve alla domanda di un utente | «Le regole del robots.txt possono non applicarsi» — parole di OpenAI |
Ognuno dei quattro ha una lista pubblica di indirizzi IP — gptbot.json, searchbot.json, adsbot.json, chatgpt-user.json su openai.com. Conta più di quanto sembri: la stringa user-agent è un'etichetta che chiunque può falsificare, e le liste IP sono l'unico modo per distinguere il traffico vero di OpenAI dagli impostori col suo nome addosso. Nel nostro caso, un quarto delle richieste era proprio quello.
I log europei: quanto «tiene» un Disallow
Il rapporto TollBit dà il quadro di mercato. Secondo le cifre come riportate da Search Engine Journal il 14 agosto 2026 — abbiamo letto il resoconto di SEJ, non il rapporto originale — nel primo semestre 2026, sui siti europei del rapporto, circa il 15% dei fetcher AI identificati ha raggiunto URL marcati come Disallow nel robots.txt. Per tre agenti in particolare — ChatGPT-User, Bytespider di ByteDance e Youbot di You.com — le letture hanno raggiunto pagine vietate su circa metà dei siti europei che li elencavano esplicitamente.
Lo stesso rapporto contiene un numero più silenzioso: l'Europa il file lo usa pochissimo, almeno per gli agenti nuovi. Solo il 9% dei siti europei mette un Disallow su Claude-User, contro il 26% in Nord America; per Perplexity-User il divario è 13% contro 26%. Comunque lo si interpreti — meno preoccupazione, meno consapevolezza, o semplicemente meno tempo speso su un file che non è la leva vera — il dibattito sul robots.txt si sta svolgendo soprattutto su un altro continente.
Messi in fila: TollBit misura siti che hanno detto no e sono stati letti lo stesso. Noi misuriamo un sito che ha detto sì ed è stato bloccato lo stesso. Il file sbaglia nei due sensi.
Prima e adesso: dove si decide l'accesso
| L'era del robots.txt | Agosto 2026 | |
|---|---|---|
| Chi legge le tue pagine | Crawler, con i loro tempi | Crawler, più fetcher in diretta mossi dalla domanda di un utente |
| Dove esprimi una preferenza | robots.txt, un file, pubblico | robots.txt per i crawler; regole WAF e firewall d'origine per tutto |
| Chi la fa rispettare | Il bot, volontariamente | Il tuo CDN e il tuo server, anche contro il traffico che volevi |
| Come verifichi | In pratica non potevi | Log degli eventi firewall, per user agent, per codice di risposta |
Cosa ti serve per vedere il tuo traffico AI
Non un abbonamento nuovo: un'ora, e accessi che hai già.
- I log del CDN o del server, filtrati per user agent, con il codice di risposta accanto a ogni richiesta. Sul piano gratuito di Cloudflare la finestra è di 24 ore: basta per una fotografia, se la scatti apposta.
- La lista degli agenti che ti interessano. I quattro di OpenAI, più Claude-User, PerplexityBot e Googlebot come controllo.
- Uno sguardo a entrambi i livelli. Un 403 al bordo che non arriva mai al server è opera del CDN; un 403 che l'origine ha emesso è opera del server o del suo software di sicurezza. Si riparano in pannelli diversi.
- Le liste IP pubbliche di OpenAI, se vuoi separare i fetcher veri dagli impostori prima di trarre conclusioni.
Del primo audit — con la scoperta che il 79% dei crawler AI era bloccato — abbiamo scritto in dettaglio in che cosa bloccava davvero i crawler AI sul nostro sito; lo stesso metodo di conteggio l'abbiamo usato per verificare se qualcuno legge davvero llms.txt.
Cosa questo articolo non dice
- Non dice che OpenAI ignori il robots.txt in generale. GPTBot e OAI-SearchBot sono documentati come rispettosi del file, e i nostri dati non provano niente in senso contrario su quel punto.
- Non dice che il tuo sito somigli al nostro. Un sito piccolo, una zona, due muri specifici. I tuoi saranno diversi — il punto è che dei muri li hai, e non li hai letti.
- I nostri conteggi sono per stringa user-agent. Una parte delle 645 richieste era certamente falsa; le 165 fermate al bordo in gran parte lo erano. I 450 blocchi all'origine colpiscono indifferentemente traffico vero e falso — ed è esattamente il problema.
- Le cifre europee sono di TollBit, lette attraverso SEJ. Il rapporto originale non l'abbiamo verificato, e citiamo i numeri con questa catena dichiarata.
Dove ti trovi, in tre soglie
Soglia uno — non hai mai guardato. Hai un robots.txt configurato una volta da qualcuno e nessuna idea di cosa faccia il firewall con i fetcher AI. Un'ora sui log del CDN ti porta alla soglia due. Quasi tutti i siti che abbiamo controllato bloccavano traffico che credevano di avere invitato.
Soglia due — hai guardato e hai trovato muri. Da qui è idraulica: capire quale livello blocca, decidere agente per agente cosa vuoi davvero, scrivere regole che verificano i bot invece di fidarsi delle stringhe. Metti in conto giorni, non minuti: da noi, dieci giorni dopo, il secondo muro è ancora in piedi.
Soglia tre — i log corrispondono alle intenzioni. Resta il lavoro lento: meritarsi la lettura. Un fetcher che ti raggiunge è una precondizione, non una strategia — a farti consigliare è ancora un contenuto che qualcuno citerebbe.
Domande che nessuno ci ha ancora fatto
Il rapporto ha un giorno e nessun cliente ci ha chiamato per un fetch bot — anche perché è Ferragosto. Queste sono le domande che faremmo noi al posto loro.
Il robots.txt serve ancora a qualcosa, allora?
Sì, per due bot su quattro: tiene GPTBot fuori dall'addestramento e OAI-SearchBot fuori dalla ricerca di ChatGPT, ed entrambi sono documentati come rispettosi del file. Quello che non può fare è garantire alcunché su ChatGPT-User — né in blocco né in apertura.
Come faccio a sapere se il mio hosting blocca i bot AI?
Guarda i log con il codice di risposta accanto allo user agent: un 403 emesso dall'origine è del server, non del CDN. Sui piani gestiti italiani il colpevole tipico è il software di sicurezza dell'hosting — nel nostro caso Imunify360 — che tratta i fetcher AI come scanner ostili. Si sistema con un intervento dell'hosting, non da soli: da noi, dieci giorni dopo la scoperta, il muro è ancora lì.
Una PMI italiana deve preoccuparsi degli impostori?
Deve saperlo prima di leggere qualunque statistica, incluse le nostre: un quarto delle richieste «ChatGPT-User» sul nostro sito non supera la verifica dei bot di Cloudflare. Se conti le stringhe e le chiami OpenAI, ogni percentuale che pubblichi è sbagliata.
Bloccare GPTBot mi toglie dalle risposte di ChatGPT?
No, di per sé. GPTBot riguarda l'addestramento; la visibilità nella ricerca passa da OAI-SearchBot. OpenAI documenta che i siti esclusi da OAI-SearchBot spariscono dalle risposte di ricerca, «pur potendo ancora apparire come link di navigazione».
Le visite di ChatGPT-User si vedono in Google Analytics?
Di regola no: Analytics ha bisogno di JavaScript eseguito in un browser, e un fetcher che scarica il tuo HTML non è obbligato a farlo. Il posto affidabile sono i log del CDN o del server — motivo per cui quasi nessun titolare ha mai visto questo traffico.
Quanto ci mette OpenAI a recepire una modifica al robots.txt?
La documentazione indica circa 24 ore. Quindi: cambi il file oggi, verifichi domani, nei log — non cinque minuti dopo, nell'assistente.
E se volessi davvero tenere ChatGPT fuori dal mio sito?
Allora fallo dove funziona: regole firewall sulle liste IP pubbliche di OpenAI — chatgpt-user.json per il fetcher — non una riga di cortesia in un file di testo. E sappi cosa rinunci: un assistente che non può leggerti non potrà mai citarti.
Perché l'Europa usa il Disallow così poco rispetto al Nord America?
Il rapporto non lo spiega, registra solo il divario: 9% contro 26% su Claude-User, 13% contro 26% su Perplexity-User. La lettura meno lusinghiera è che il file lo si tocca dove c'è un contenzioso editoriale acceso; quella più pratica è che il file conta poco e l'Europa, senza saperlo, ha ragione.
Essere leggibili basta per farsi consigliare da ChatGPT?
È il biglietto d'ingresso, non il premio. Un fetcher che prende 403 non ti citerà mai, quindi l'accesso viene prima. Dopo, a spostare le raccomandazioni è un contenuto che risponde alla domanda letterale, con numeri e fonti che una macchina può riprendere puliti.
Cosa misurereste ogni mese, in mezz'ora?
Tre righe dai tuoi stessi log: richieste per agente AI, quota bloccata per livello, e — a mano — quante volte il tuo nome compare quando fai agli assistenti dieci domande fisse sul tuo mercato. Ne riparliamo tra 3–6 mesi 😉
Ultimo aggiornamento: 15 agosto 2026. La documentazione dei crawler OpenAI, riletta integralmente in questa data, descrive quattro bot e afferma che per le letture avviate dall'utente via ChatGPT-User «le regole del robots.txt possono non applicarsi». Le nostre cifre vengono dall'API GraphQL di Cloudflare per la zona cittago.com, finestre di 23 ore datate 5, 6 e 15 agosto 2026, contate per stringa user-agent. Le cifre europee sono del rapporto «State of the Bots» H1 2026 di TollBit, come riportato da Search Engine Journal il 14 agosto. Aggiorniamo la pagina quando una di queste cose cambia.
