# Bloccare ChatGPT col robots.txt? Un bot su quattro sfugge

> Il 95% delle richieste ChatGPT-User al nostro sito muore nel firewall, con robots.txt permissivo. E OpenAI scrive che il file può non valere. I dati.

Source: https://cittago.com/it/blog/chatgpt-user-robots-txt-2026/  
Publisher: Cittago — a digital studio in Cluj-Napoca, est. 2011  
Published: 2026-08-15  
Language: it

---

Il giorno prima di Ferragosto la stampa di settore ha riportato una riga che sta da tempo nella documentazione OpenAI: per il bot che apre le pagine quando un utente fa una domanda, «le regole del robots.txt possono non valere». Noi abbiamo il caso opposto, misurato: un robots.txt che accoglie tutti, e un firewall che blocca il 95% lo stesso.

**Cosa è successo.** Il rapporto «State of the Bots» di TollBit, ripreso da Search Engine Journal il 14 agosto, ha portato alla luce una frase della documentazione OpenAI: ChatGPT-User — il bot che legge la tua pagina in diretta quando un utente chiede di te — non si considera vincolato dal robots.txt, perché l'azione parte da una persona.

**Chi può chiudere la scheda.** Se non ti interessa né essere letto né essere consigliato dagli assistenti AI, non c'è niente da fare oggi. Il tuo firewall sta già decidendo al posto tuo, probabilmente in modo più severo di quanto immagini.

**Perché vale un quarto d'ora.** Perché il file che tutti modificano non è il livello che decide. Sul nostro sito l'abbiamo misurato nei due sensi: robots.txt spalancato per nome a ogni bot OpenAI, e il 95% delle richieste ChatGPT-User bloccato comunque, da due muri che abbiamo dovuto scoprire da soli.

- Il nostro caso completo, con tre misurazioni datate e il gruppo di controllo Googlebot.
- La frase esatta con cui OpenAI esenta ChatGPT-User, citata alla lettera.
- I quattro bot OpenAI in una tabella: quale obbedisce al file e quale no.
- I numeri europei di TollBit — e il dato strano su quanto poco l'Europa usi il file.

In questa pagina

1. [Il nostro caso: file aperto, firewall chiuso](#nostro-caso)
2. [Che cos'è ChatGPT-User](#cosa-e)
3. [La frase che OpenAI ha messo per iscritto](#la-frase)
4. [I quattro bot OpenAI, in tabella](#quattro-bot)
5. [I log europei: quanto «tiene» un Disallow](#europa)
6. [Prima e adesso: dove si decide l'accesso](#prima-adesso)
7. [Cosa ti serve per vedere il tuo traffico AI](#cosa-serve)
8. [Cosa questo articolo non dice](#non-dice)
9. [Dove ti trovi, in tre soglie](#soglie)
10. [Domande che nessuno ci ha ancora fatto](#domande)

## Il nostro caso: file aperto, firewall chiuso

Partiamo dai numeri nostri, perché sono il pezzo che nessun altro può darti. Il robots.txt di cittago.com è il più accogliente che il formato permetta: un commento in testa che dichiara benvenuti motori e assistenti AI, e poi Allow: / esplicito, per nome, a GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot e altri. Se il file decidesse l'accesso, ogni richiesta OpenAI verrebbe servita.

Ecco cosa succede davvero, misurato sulla nostra zona Cloudflare in tre finestre di 23 ore. Il conteggio è per stringa user-agent; «bloccata» significa 403 da uno dei due livelli: il firewall di Cloudflare al bordo, o il livello di sicurezza dell'hosting (Imunify360) sul server di origine.

La cronologia è la parte istruttiva. Il 5 agosto abbiamo scoperto il primo muro: una regola Cloudflare che bloccava interi continenti, scritta anni fa contro lo spam, che per caso prendeva in pieno l'infrastruttura — molto concentrata a Singapore — da cui partono i fetcher AI. L'abbiamo aperta lo stesso giorno, con una regola che esenta solo le richieste che Cloudflare verifica come bot autentici. Il secondo muro invece è ancora lì: il livello di sicurezza del server di origine, che può togliere solo l'hosting — e non è ancora successo. Oggi, dieci giorni dopo, 450 richieste su 645 muoiono contro quel secondo muro.

*Due livelli che guardano lo stesso ingresso: quello che passa il primo non ha nessuna garanzia sul secondo. Sul nostro sito, il secondo blocca più del primo.*

Tre note di lettura onesta. Le 165 richieste ancora fermate da Cloudflare sono traffico che non supera la verifica dei bot — in gran parte impostori che indossano la stringa ChatGPT-User, e sono un quarto del totale. E il gruppo di controllo tiene onesto l'esperimento: nella stessa finestra Googlebot ha fatto 56 richieste e bingbot 41, **nessuna bloccata da nessuno dei due livelli**. Claude-User, per contrasto: 21 richieste, 21 servite. I muri sono selettivi — ed è esattamente per questo che dall'esterno non li puoi dedurre. E i conti: una risposta fuori dalle tre colonne — un 404, per esempio — fa mancare una richiesta al totale; la riga del 5–6 agosto ne spiega così 237 su 238.

Leggere gli eventi del firewall di una zona accanto al suo robots.txt è il primo controllo che facciamo nel nostro lavoro di [SEO per la ricerca AI](https://cittago.com/it/services/seo-ai-search/): il file registra l'intenzione, il log registra la verità, e non ci è ancora capitato un sito dove le due coincidessero alla prima lettura.

## Che cos'è ChatGPT-User

ChatGPT-User è lo user agent che OpenAI manda quando una conversazione ChatGPT deve aprire una pagina web in tempo reale: l'utente fa una domanda, l'assistente va a leggere la tua pagina per rispondere, e il tuo server vede una richiesta firmata ChatGPT-User/1.0. Non è un crawler che gira per il web per conto suo: OpenAI scrive che «non è usato per il crawling automatico del web».

Questa definizione regge tutto il resto: una lettura innescata da una domanda umana, nell'interpretazione di OpenAI, è la visita dell'utente, non del bot — e il robots.txt è nato per i bot.

## La frase che OpenAI ha messo per iscritto

Il passaggio, citato dalla documentazione in inglese, riletta integralmente il 15 agosto 2026:

> ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply.

Tradotto: «ChatGPT-User non è usato per il crawling automatico del web. Poiché queste azioni sono avviate da un utente, le regole del robots.txt possono non applicarsi». Non è formulata come un annuncio: è la descrizione stabile di come funziona il sistema, che il rapporto TollBit ha reso impossibile da ignorare. E non è nemmeno una confessione: il robots.txt è una convenzione volontaria dal 1994, e OpenAI dichiara apertamente che per le letture su richiesta dell'utente non la considera vincolante. Puoi trovare il ragionamento sensato o interessato — la conseguenza pratica non cambia: **un Disallow su ChatGPT-User è una richiesta di cortesia, e la documentazione ti avvisa che la cortesia può essere negata.**

Dalla stessa pagina, due dettagli che quasi nessuno cita. Primo: anche per i bot che obbediscono, una modifica al robots.txt non è istantanea — OpenAI indica «circa 24 ore» perché i suoi sistemi la recepiscano. Secondo: se permetti sia GPTBot che OAI-SearchBot, OpenAI può usare «i risultati di un solo crawl per entrambi gli scopi» — una visita, due usi, utile da sapere quando i conteggi nei tuoi log sembrano bassi.

## I quattro bot OpenAI, in tabella

Confonderli è l'errore più frequente nelle discussioni su «bloccare ChatGPT», perché ognuno risponde a una leva diversa.

Ognuno dei quattro ha una lista pubblica di indirizzi IP — gptbot.json, searchbot.json, adsbot.json, chatgpt-user.json su openai.com. Conta più di quanto sembri: la stringa user-agent è un'etichetta che chiunque può falsificare, e le liste IP sono l'unico modo per distinguere il traffico vero di OpenAI dagli impostori col suo nome addosso. Nel nostro caso, un quarto delle richieste era proprio quello.

*Il nome sulla targhetta non dice chi c'è dentro. Con gli user agent funziona uguale: la firma si legge, la verifica si fa sull'IP.*

## I log europei: quanto «tiene» un Disallow

Il rapporto TollBit dà il quadro di mercato. Secondo le cifre come riportate da Search Engine Journal il 14 agosto 2026 — abbiamo letto il resoconto di SEJ, non il rapporto originale — nel primo semestre 2026, sui siti europei del rapporto, **circa il 15% dei fetcher AI identificati ha raggiunto URL marcati come Disallow** nel robots.txt. Per tre agenti in particolare — ChatGPT-User, Bytespider di ByteDance e Youbot di You.com — le letture hanno raggiunto pagine vietate su **circa metà dei siti europei che li elencavano esplicitamente**.

Lo stesso rapporto contiene un numero più silenzioso: l'Europa il file lo usa pochissimo, almeno per gli agenti nuovi. Solo il **9%** dei siti europei mette un Disallow su Claude-User, contro il 26% in Nord America; per Perplexity-User il divario è 13% contro 26%. Comunque lo si interpreti — meno preoccupazione, meno consapevolezza, o semplicemente meno tempo speso su un file che non è la leva vera — il dibattito sul robots.txt si sta svolgendo soprattutto su un altro continente.

Messi in fila: TollBit misura siti che hanno detto *no* e sono stati letti lo stesso. Noi misuriamo un sito che ha detto *sì* ed è stato bloccato lo stesso. Il file sbaglia nei due sensi.

## Prima e adesso: dove si decide l'accesso

## Cosa ti serve per vedere il tuo traffico AI

Non un abbonamento nuovo: un'ora, e accessi che hai già.

- **I log del CDN o del server**, filtrati per user agent, con il codice di risposta accanto a ogni richiesta. Sul piano gratuito di Cloudflare la finestra è di 24 ore: basta per una fotografia, se la scatti apposta.
- **La lista degli agenti che ti interessano.** I quattro di OpenAI, più Claude-User, PerplexityBot e Googlebot come controllo.
- **Uno sguardo a entrambi i livelli.** Un 403 al bordo che non arriva mai al server è opera del CDN; un 403 che l'origine ha emesso è opera del server o del suo software di sicurezza. Si riparano in pannelli diversi.
- **Le liste IP pubbliche di OpenAI**, se vuoi separare i fetcher veri dagli impostori prima di trarre conclusioni.

*Un lucchetto messo anni fa, da qualcun altro, per un motivo che nessuno ricorda. La maggior parte dei blocchi che troviamo negli audit è fatta così.*

Del primo audit — con la scoperta che il 79% dei crawler AI era bloccato — abbiamo scritto in dettaglio in [che cosa bloccava davvero i crawler AI sul nostro sito](https://cittago.com/it/blog/ai-crawlers-blocked-firewall-2026/); lo stesso metodo di conteggio l'abbiamo usato per verificare [se qualcuno legge davvero llms.txt](https://cittago.com/it/blog/llms-txt-cats-txt-2026/).

## Cosa questo articolo non dice

- **Non dice che OpenAI ignori il robots.txt in generale.** GPTBot e OAI-SearchBot sono documentati come rispettosi del file, e i nostri dati non provano niente in senso contrario su quel punto.
- **Non dice che il tuo sito somigli al nostro.** Un sito piccolo, una zona, due muri specifici. I tuoi saranno diversi — il punto è che dei muri li hai, e non li hai letti.
- **I nostri conteggi sono per stringa user-agent.** Una parte delle 645 richieste era certamente falsa; le 165 fermate al bordo in gran parte lo erano. I 450 blocchi all'origine colpiscono indifferentemente traffico vero e falso — ed è esattamente il problema.
- **Le cifre europee sono di TollBit, lette attraverso SEJ.** Il rapporto originale non l'abbiamo verificato, e citiamo i numeri con questa catena dichiarata.

## Dove ti trovi, in tre soglie

**Soglia uno — non hai mai guardato.** Hai un robots.txt configurato una volta da qualcuno e nessuna idea di cosa faccia il firewall con i fetcher AI. Un'ora sui log del CDN ti porta alla soglia due. Quasi tutti i siti che abbiamo controllato bloccavano traffico che credevano di avere invitato.

**Soglia due — hai guardato e hai trovato muri.** Da qui è idraulica: capire quale livello blocca, decidere agente per agente cosa vuoi davvero, scrivere regole che verificano i bot invece di fidarsi delle stringhe. Metti in conto giorni, non minuti: da noi, dieci giorni dopo, il secondo muro è ancora in piedi.

**Soglia tre — i log corrispondono alle intenzioni.** Resta il lavoro lento: meritarsi la lettura. Un fetcher che ti raggiunge è una precondizione, non una strategia — a farti consigliare è ancora un contenuto che qualcuno citerebbe.

## Domande che nessuno ci ha ancora fatto

Il rapporto ha un giorno e nessun cliente ci ha chiamato per un fetch bot — anche perché è Ferragosto. Queste sono le domande che faremmo noi al posto loro.

Ultimo aggiornamento: 15 agosto 2026. La documentazione dei crawler OpenAI, riletta integralmente in questa data, descrive quattro bot e afferma che per le letture avviate dall'utente via ChatGPT-User «le regole del robots.txt possono non applicarsi». Le nostre cifre vengono dall'API GraphQL di Cloudflare per la zona cittago.com, finestre di 23 ore datate 5, 6 e 15 agosto 2026, contate per stringa user-agent. Le cifre europee sono del rapporto «State of the Bots» H1 2026 di TollBit, come riportato da Search Engine Journal il 14 agosto. Aggiorniamo la pagina quando una di queste cose cambia.

| Finestra (23h) | Richieste ChatGPT-User | Bloccate da Cloudflare | Bloccate all'origine | Servite | Bloccate |
| --- | --- | --- | --- | --- | --- |
| 5 agosto 2026 — prima di saperlo | 191 | 157 | 18 | 16 | **92%** |
| 5–6 agosto — il giorno del nostro fix su Cloudflare | 238 | 81 | 126 | 30 | **87%** |
| 14–15 agosto 2026 — attuale | 645 | 165 | 450 | 30 | **95%** |

| User agent | Cosa fa | Il robots.txt lo vincola? |
| --- | --- | --- |
| GPTBot | Raccoglie contenuti che possono addestrare i modelli di OpenAI | Sì — il Disallow segnala che i tuoi contenuti non vanno usati per l'addestramento |
| OAI-SearchBot | Fa emergere il tuo sito nei risultati di ricerca di ChatGPT | Sì — chi lo esclude sparisce dalle risposte di ricerca, «pur potendo ancora apparire come link di navigazione» |
| OAI-AdsBot | Visita le landing inviate come annunci ChatGPT, per validarle | Qui la documentazione non parla di robots.txt — visita solo pagine che tu stesso hai inviato come annunci |
| ChatGPT-User | Apre una pagina in diretta quando serve alla domanda di un utente | **«Le regole del robots.txt possono non applicarsi»** — parole di OpenAI |

|   | L'era del robots.txt | Agosto 2026 |
| --- | --- | --- |
| Chi legge le tue pagine | Crawler, con i loro tempi | Crawler, più fetcher in diretta mossi dalla domanda di un utente |
| Dove esprimi una preferenza | robots.txt, un file, pubblico | robots.txt per i crawler; regole WAF e firewall d'origine per tutto |
| Chi la fa rispettare | Il bot, volontariamente | Il tuo CDN e il tuo server, anche contro il traffico che volevi |
| Come verifichi | In pratica non potevi | Log degli eventi firewall, per user agent, per codice di risposta |

## Domande e risposte

**Il robots.txt blocca ChatGPT?**

Solo in parte. La documentazione OpenAI conferma che GPTBot (addestramento) e OAI-SearchBot (ricerca) lo rispettano; OAI-AdsBot visita solo pagine che tu stesso hai inviato come annunci. Non vincola in modo affidabile ChatGPT-User, il fetcher che apre le pagine in diretta su domanda dell'utente: per queste letture «le regole del robots.txt possono non applicarsi». Un blocco vero si fa nel firewall, sulle liste IP pubbliche di OpenAI.

**Che cos'è lo user agent ChatGPT-User?**

È l'agente che OpenAI manda quando una conversazione ChatGPT deve leggere una pagina web in tempo reale per rispondere a una domanda. OpenAI dichiara che non è usato per il crawling automatico del web: agisce su richiesta, ed è per questo che OpenAI lo tratta diversamente dai suoi crawler.

**Come vedo se il mio hosting blocca i bot AI?**

Nei log del server o del CDN, con il codice di risposta accanto allo user agent: un 403 emesso dall'origine è opera del server o del suo software di sicurezza, non del CDN. Sul nostro sito il livello di sicurezza dell'hosting (Imunify360) blocca oggi 450 richieste ChatGPT-User su 645 in 23 ore, con un robots.txt completamente permissivo.

**Bloccare GPTBot mi toglie dalle risposte di ChatGPT?**

No. GPTBot governa l'uso per l'addestramento; la visibilità nella ricerca di ChatGPT passa da OAI-SearchBot. I siti esclusi da OAI-SearchBot spariscono dalle risposte di ricerca, pur potendo ancora apparire come link di navigazione, secondo la documentazione OpenAI.

**Le visite di ChatGPT-User compaiono in Google Analytics?**

Di regola no: Analytics richiede JavaScript eseguito in un browser, e un fetcher che scarica l'HTML non lo esegue necessariamente. Il posto affidabile per vederle sono i log del CDN o del server con i codici di risposta.

**Il mio robots.txt permette i bot AI: sono a posto?**

Non necessariamente. Sul nostro sito il robots.txt accoglie per nome ogni bot OpenAI, eppure il 95% delle richieste ChatGPT-User in 23 ore (15 agosto 2026) è stato bloccato da due livelli di firewall: una regola sui continenti nel CDN e il software di sicurezza dell'hosting. Il file registra l'intenzione; solo i log registrano cosa succede.

**Quanto tempo serve perché OpenAI recepisca una modifica al robots.txt?**

La documentazione OpenAI indica circa 24 ore perché i suoi sistemi si adeguino a un robots.txt aggiornato. La verifica va fatta il giorno dopo, nei log, non pochi minuti dopo nell'assistente.

**Come blocco ChatGPT-User se voglio davvero tenerlo fuori?**

Con regole firewall sulle liste IP che OpenAI pubblica — chatgpt-user.json per il fetcher — o sfidando al CDN il traffico bot non verificato. Bloccare la sola stringa user-agent ferma gli impostori onesti e poco altro.

**Gli impostori che fingono di essere ChatGPT-User sono tanti?**

Sul nostro sito, un quarto: 165 richieste su 645 con la firma ChatGPT-User non superano la verifica dei bot di Cloudflare in una finestra di 23 ore. Qualunque statistica contata sulla sola stringa user-agent, senza verifica IP, va letta con questo margine.

**Essere leggibili dai fetcher basta per farsi consigliare?**

È la precondizione, non la strategia. Un fetcher che riceve 403 non potrà mai citarti, quindi l'accesso si sistema per primo. Dopo, contano contenuti che rispondono alla domanda letterale con numeri e fonti riprendibili da una macchina.

---

Cittago · https://cittago.com · digital marketing, SEO, AI search, Google Ads and web development for small and medium companies in Romania, Italy and the EU.