# Il 15 settembre Cloudflare può chiuderti Googlebot

> Dal 15 settembre 2026 Cloudflare blocca Googlebot, Applebot e BingBot sui siti che hanno scelto di bloccare l'addestramento AI. Controlli in due minuti.

Source: https://cittago.com/it/blog/cloudflare-robots-txt-15-septembrie-2026/  
Publisher: Cittago — a digital studio in Cluj-Napoca, est. 2011  
Published: 2026-08-24  
Language: it

---

La frase è di Cloudflare, non nostra: dal **15 settembre 2026** i crawler con più scopi «come Googlebot, Applebot e BingBot saranno bloccati dai clienti che hanno scelto di bloccare l'addestramento». Compreso chi lo ha fatto un anno fa con il vecchio pulsante «Block AI bots» e non ci ha più pensato. Nello stesso periodo arriva Bot Preference Sync, annunciato il **21 agosto**: da adesso il file robots.txt lo scrive il pannello, non tu.

**La scadenza.** Il 15 settembre 2026 Cloudflare cambia i valori predefiniti delle tre categorie di traffico AI. I crawler che fanno sia ricerca sia addestramento verranno valutati su tutti i loro comportamenti, con la regola più restrittiva. Cloudflare ne nomina tre: Googlebot, Applebot, BingBot.

**La novità di contorno.** Il 21 agosto è arrivato Bot Preference Sync: il pannello genera e aggiorna il tuo robots.txt in base alle impostazioni sui bot AI, su tutti i piani, attivo per impostazione predefinita sui clienti nuovi. Il blocco viene anteposto al tuo file, fra due commenti di marcatura.

**Cosa mettiamo di nostro.** Il 24 agosto abbiamo aperto il robots.txt di cinque domini che gestiamo. Uno serviva già un blocco generato da Cloudflare che vieta nove crawler AI, messo sopra una riga scritta da noi che li invitava tutti a entrare. Nessuno se n'era accorto, perché niente lo segnala.

- Sai in due minuti se il tuo file è ancora scritto da te, con un solo indirizzo aperto nel browser.
- Hai la frase esatta di Cloudflare sulla scadenza, non la nostra parafrasi.
- Sai dove si rinuncia ai nuovi valori predefiniti, e fino a quando.
- Hai le quattro condizioni che un crawler deve soddisfare per non essere bloccato — e perché oggi non ti dicono ancora nulla su Googlebot.

In questa pagina

1. [La data è il 15 settembre](#quindici)
2. [Googlebot, Applebot e BingBot, nominati](#googlebot)
3. [Che cos'è Bot Preference Sync](#cosa)
4. [Cosa compare nel tuo file](#file)
5. [Cinque domini, aperti il 24 agosto](#cinque)
6. [Le quattro condizioni](#trasparenza)
7. [Cosa ti serve per controllare oggi](#serve)
8. [Cosa non fa](#non)
9. [Prima e adesso, in tabella](#tabella)
10. [Le parole, in tabella](#parole)
11. [Dove sei, in tre soglie](#soglie)
12. [Domande che nessuno ci ha fatto](#faq)

Apri adesso, in un'altra scheda, l'indirizzo tuosito.it/robots.txt. Ci mette due secondi ed è pubblico per chiunque, te compreso. Poi cerca nella pagina la parola *Cloudflare*. Il resto di questo articolo serve a spiegarti cosa fare a seconda di come è andata.

## La data è il 15 settembre

Il 1° luglio 2026 Cloudflare ha pubblicato «Il tuo sito, le tue regole: nuove opzioni di traffico AI per tutti i clienti». È l'articolo in cui ha smesso di trattare i bot AI come un blocco unico e ha introdotto tre categorie: ricerca, agente, addestramento. Nella stessa pagina c'è la frase con la scadenza: «il 15 settembre 2026 imposteremo nuovi valori predefiniti per ciascuna di queste tre classificazioni. Per tutti i nuovi domini che entrano su Cloudflare, le categorie Addestramento e Agente saranno bloccate per impostazione predefinita sulle pagine che mostrano pubblicità, mentre la Ricerca resterà consentita».

Questa parte è difendibile e Cloudflare la spiega bene: «una pubblicità è un segnale che il proprietario del sito voleva che ci arrivasse una persona e la vedesse». Su quelle pagine l'attenzione umana è il fine, quindi i bot che la consumano senza restituire nulla restano fuori.

È la frase successiva a cambiare le cose, e riguarda anche i domini che sono su Cloudflare da anni.

## Googlebot, Applebot e BingBot, nominati

Il passaggio, per intero, perché ogni pezzo conta: «un'altra modifica che si applicherà dal 15 settembre è che i crawler con più scopi (in particolare quelli che combinano Ricerca e Addestramento) saranno consentiti o bloccati in base a *tutti* i loro comportamenti, in linea con il nostro appello alla trasparenza per i proprietari di siti. Poiché i valori predefiniti saranno applicati secondo le regole più restrittive fra quelle applicabili, i crawler con più scopi come **Googlebot, Applebot e BingBot saranno bloccati dai clienti che hanno scelto di bloccare l'Addestramento** (sia tramite le nuove opzioni di gestione del traffico AI, sia tramite il vecchio servizio Block AI bots)».

*La cancellata finisce dopo due metri e il vialetto le passa accanto. La distanza fra ciò che dichiari e ciò che applichi ha esattamente questa forma, solo che in un file di testo non si vede.*

Tre letture, perché è facile ricavarne più di quanto ci sia scritto.

**Uno.** Non dice «Cloudflare blocca Googlebot». Dice che Googlebot «sarà bloccato dai clienti che hanno scelto di bloccare l'Addestramento». Il soggetto sei tu, tramite una tua impostazione. Se non hai mai bloccato l'addestramento, la frase non ti riguarda.

**Due.** Include esplicitamente «il vecchio servizio Block AI bots». È il pulsante da un clic lanciato un anno fa, nel primo Content Independence Day. Moltissimi siti lo hanno premuto allora, quando significava una cosa sola. Dal 15 settembre ne significa un'altra.

**Tre.** Una via d'uscita c'è, ed è nello stesso paragrafo: «se il proprietario di un sito vuole rinunciare a queste nuove configurazioni predefinite, può indicarlo nelle impostazioni di Sicurezza in qualsiasi momento prima del 15 settembre, il che confermerà che non desidera alcuna modifica sui crawler di addestramento che effettuano anche ricerca». Cloudflare promette anche notifiche man mano che la data si avvicina.

L'annuncio del 21 agosto aggiunge una sfumatura che non cancella nulla di quanto sopra, ma cambia chi ne è colpito. Per l'Addestramento, l'opzione *Disallow* è stata ridefinita: la preferenza «niente addestramento» viene scritta nel robots.txt, «così che i crawler con più scopi che cooperano e compiono il passo aggiuntivo di trasparenza possano comunque accedere ai tuoi contenuti per l'indicizzazione nella ricerca». E subito dopo: «la tua visibilità nella ricerca per i crawler che cooperano non è compromessa».

Tutto si riduce quindi a una domanda sola, molto concreta: **Googlebot coopera?** Ci torniamo, perché la risposta non è dove dovrebbe essere.

## Che cos'è Bot Preference Sync

Bot Preference Sync è una funzione di Cloudflare che genera e aggiorna il file robots.txt del tuo sito a partire dalle preferenze sui bot AI impostate nel pannello della zona, per tre categorie: ricerca, agente e addestramento.

La formulazione di Cloudflare, dall'annuncio firmato da Jin-Hee Lee il 21 agosto 2026: la funzione «riflette ciò che hai impostato nella configurazione dei bot AI, aggiornando le preferenze corrispondenti nel tuo robots.txt, e può essere attivata o disattivata in qualsiasi momento». Il motivo è più chiaro qualche riga prima: «invece che il proprietario del sito mantenga un file statico separato, Cloudflare genera o aggiorna il tuo robots.txt in base alla tua configurazione, così ciò che dici al mondo e ciò che applichi al bordo della rete restano allineati».

Il problema che risolve è reale e lo conosce chiunque abbia lavorato con due livelli di protezione. Cloudflare lo descrive così: «ci sono casi in cui il tuo robots.txt dichiara che un crawler non può accedere al tuo sito, mentre le tue regole di applicazione in realtà non bloccano quel crawler. Quando le preferenze dichiarate e le regole applicate non concordano, alcuni crawler lo trattano come un motivo per ignorare le tue preferenze o per tentare di aggirare le tue regole».

Il «Block AI bots» del 2025 era un interruttore unico: dentro c'erano i crawler a scopo singolo che raccoglievano dati per l'addestramento. Nessuno che lo ha premuto allora stava scegliendo di rinunciare a Googlebot, perché quella scelta non esisteva. Dal 15 settembre 2026 lo stesso interruttore, nella stessa posizione, produce un effetto diverso. Non è un cambio di impostazione: è un cambio di significato dell'impostazione. Ed è per questo che vale la pena riaprire il pannello anche se sei sicuro di sapere cosa c'è dentro.

## Cosa compare nel tuo file

Cloudflare pubblica la forma del blocco, abbreviata e anonimizzata nel loro esempio:

Due cose da tenere a mente. La prima: il blocco ha marcatori di inizio e fine, quindi si riconosce a colpo d'occhio. La seconda: l'elenco degli agenti al suo interno non è fisso. Cloudflare usa i bot tracciati nel proprio catalogo BotBase «per aggiornare periodicamente l'elenco dei bot aggiunto al robots.txt quando scegli di bloccare o vietare una determinata categoria». Il tuo file può quindi cambiare senza che tu abbia cambiato nulla.

E un dettaglio che conta per chi ha già un file scritto a mano: «se il proprietario del sito ha già un file robots.txt, i contenuti aggiunti da Bot Preference Sync saranno anteposti al materiale esistente, così che le eventuali direttive Disallow esistenti vengano mantenute». La frase è vera a metà, ed è la metà che rassicura. A essere conservati sono i tuoi *divieti*. Sui tuoi *permessi* non c'è scritto niente.

## Cinque domini, aperti il 24 agosto

Non ci siamo fermati all'annuncio. Il 24 agosto 2026 abbiamo aperto il robots.txt di cinque domini che gestiamo — la regola di selezione è stata semplice: progetti che teniamo noi, in tre paesi, tutti dietro Cloudflare — contando tre cose in ciascuno: quanti byte pesa il file, quante volte compare la parola Cloudflare e quante righe Disallow contiene.

Quattro su cinque non avevano alcuna traccia di Cloudflare nel file. Il quinto ne aveva tre.

*Un regolamento ha sempre un autore, e in fondo al cartello c'è scritto chi. In un file robots.txt l'autore non è indicato da nessuna parte: è per questo che nessuno si chiede chi lo abbia scritto.*

Quel file pesava 2.240 byte su 69 righe, di cui nove righe Disallow, nessuna scritta da noi. Tutte e nove venivano da un blocco marcato # BEGIN Cloudflare Managed content, con gli agenti vietati uno a uno: **Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, CloudflareBrowserRenderingCrawler, Google-Extended, GPTBot** e **meta-externalagent**. Sopra a tutto, il preambolo giuridico dei segnali di contenuto, con il richiamo all'Articolo 4 della Direttiva 2019/790.

E sotto il blocco, nello stesso file, un commento scritto da noi, con la sua data: *«Aperto ai motori di ricerca dal 2026-08-11»*, seguito da User-agent: * e Allow: /. L'intenzione opposta, nello stesso file. Quando sia stato attivato il blocco sopra non possiamo dirlo: la data nel commento è la nostra, non la sua.

Per contrasto, il file di **cittago.com**, lo stesso giorno: 543 byte, 27 righe, zero occorrenze della parola Cloudflare e **nove crawler AI citati esplicitamente con Allow: /**. Nove vietati in un file, nove invitati nell'altro, due zone dello stesso fornitore, gestite dalle stesse persone.

Il dettaglio che mostra meglio di tutti che l'elenco non è fisso: la documentazione Cloudflare sul robots.txt gestito, aggiornata il 3 agosto 2026, riporta un blocco di esempio con **otto** agenti. Il file servito il giorno in cui abbiamo guardato ne aveva **nove**, quello in più essendo CloudflareBrowserRenderingCrawler. Documento e file sono scritti dalla stessa azienda, a tre settimane di distanza.

L'onestà impone una precisazione, altrimenti il dato di sopra è una bella storia e una prova debole: da fuori non si può stabilire se quel blocco sia stato iniettato da Cloudflare alla consegna o incollato a suo tempo nel file di origine. La verifica che scioglie il dubbio si fa nel pannello, non con un curl. Per chi legge la distinzione non cambia nulla: l'azione è la stessa nei due casi, e comincia aprendo il file.

Un dettaglio, però, chiarisce mezza faccenda. Il marcatore dice Cloudflare Managed content, non Cloudflare Bot Preference Sync. È il nome vecchio della funzione, quello della documentazione: quella zona è quindi esattamente il caso di cui Cloudflare scrive che «ti chiederemo di rivedere e confermare le tue preferenze per passare al nuovo Bot Preference Sync al momento del lancio». La richiesta arriverà. La domanda è se qualcuno la leggerà o la confermerà per riflesso.

## Le quattro condizioni

Cloudflare non lascia «cooperare» al giudizio di nessuno. Scrive quattro requisiti che gli operatori di bot che fanno sia ricerca sia addestramento devono soddisfare «per non essere bloccati quando è impostato Disallow Training»:

- il bot deve rispettare, con qualunque meccanismo, una preferenza di «niente addestramento» nel robots.txt;
- offre ai proprietari dei siti un modo per uscire dai riassunti AI;
- fornisce visibilità a livello di URL su quali pagine sono state rese disponibili per l'addestramento, oltre a metriche sui risultati di ricerca, così da mostrare come è stato usato il contenuto;
- può dimostrare pubblicamente che vietare l'addestramento non danneggia i risultati della ricerca tradizionale.

La terza è quella difficile: chiede un rapporto a livello di URL su cosa è stato messo a disposizione per l'addestramento. Noi un rapporto simile non l'abbiamo trovato in nessuno dei tre motori nominati — il che non prova che non esista, dice solo cosa siamo riusciti a verificare. La quarta lo è ancora di più, perché chiede a un fornitore di dimostrare pubblicamente una cosa che solo lui può dimostrare.

Cloudflare indica anche dove si verifica: i bot «che soddisfano questi criteri sono tracciati pubblicamente nella sezione di trasparenza sui bot AI di Cloudflare Radar». L'abbiamo cercata il 24 agosto. La pagina radar.cloudflare.com/bots, aperta con un browser reale e letta per intero, non contiene una sezione del genere e non contiene affatto la parola Googlebot. Altri quattro indirizzi plausibili sullo stesso dominio hanno risposto 403 a un client HTTP semplice, quindi su quelli non possiamo dire nulla — né che esistano, né il contrario.

**Cosa se ne ricava, con prudenza:** non che l'elenco non esista. Solo che, a tre settimane dalla scadenza, chi vuole sapere se Googlebot gli resta alla porta non ha un posto dove guardare. E la decisione va presa prima del 15 settembre.

## Cosa ti serve per controllare oggi

- **Un browser.** Apri tuosito.it/robots.txt. È pubblico per definizione.
- **Una parola da cercare nella pagina:** *Cloudflare*. Se compare, il file non è scritto interamente da te.
- **L'accesso al pannello Cloudflare della zona**, alla sezione dei bot AI. Lì si vede cosa è impostato su Ricerca, Agente e Addestramento, e sempre lì, nelle impostazioni di Sicurezza, si indica la rinuncia ai nuovi valori predefiniti.
- **Cinque minuti e qualcuno che sappia cosa vuole il sito.** La parte tecnica è una casella. La parte difficile è decidere se vuoi comparire nelle risposte degli assistenti AI, e quella non è una domanda di infrastruttura.

Se non sai chi ha configurato la tua zona né cosa c'è spuntato dentro, è esattamente il tipo di cosa che apriamo noi quando ci occupiamo della [configurazione di Cloudflare per il sito](https://cittago.com/it/services/cloudflare/): un'ora, e scopri cosa dice di te il tuo file.

## Cosa non fa

*Un cartello resta un cartello. A fermare davvero il traffico è la regola al bordo della rete, e le due cose si impostano in punti diversi del pannello.*

- **Non blocca niente.** La documentazione Cloudflare lo dice senza giri di parole: «il rispetto di robots.txt è volontario. Il file esprime le tue preferenze, ma non impedisce tecnicamente ai crawler di accedere ai tuoi contenuti. Alcuni operatori di crawler possono ignorare le tue direttive e scansionare i contenuti lo stesso». La stessa pagina indica anche lo strumento per il blocco vero: «se vuoi imporre il blocco della scansione invece di richiederlo, usa AI Crawl Control». Sono due cose diverse, in due punti diversi del pannello.
- **Non legge le tue regole personalizzate.** È pensata per decisioni a livello di categoria, non caso per caso, e «non leggerà direttamente dalle singole regole personalizzate con logiche più complesse». Se hai un accordo particolare con un operatore, la sincronizzazione va disattivata.
- **Non cancella i tuoi divieti.** Il blocco viene anteposto e le direttive Disallow esistenti restano. Sui permessi esistenti, silenzio.
- **Non decide al posto tuo.** Cloudflare è esplicito: non esiste una risposta unica, e le esigenze di un negozio online e di un editore che vive di pubblicità sono opposte.
- **Non è retroattiva.** Ciò che è già stato scansionato e assorbito in un modello resta lì. La preferenza che imposti vale da qui in avanti, non retroattivamente.

## Prima e adesso, in tabella

## Le parole, in tabella

## Dove sei, in tre soglie

**Prima soglia** — il tuo sito non passa da Cloudflare. Niente di questo articolo ti riguarda oggi, e il tuo file è esattamente come lo hai lasciato. La cosa utile per te è un'altra: aprilo lo stesso, perché la probabilità che contenga una riga messa quattro anni fa da un plugin è più alta di quanto pensi.

**Seconda soglia** — sei su Cloudflare e non sai cosa c'è spuntato. È il caso più diffuso ed è anche il più economico da risolvere: due minuti sul file, cinque nel pannello. Se trovi un blocco # BEGIN Cloudflare, leggilo fino in fondo e confrontalo con quello che volevi dicesse il tuo sito.

**Terza soglia** — hai premuto «Block AI bots» a suo tempo, deliberatamente, e da allora non hai più rivisto l'impostazione. Sei esattamente la persona della frase di Cloudflare sul 15 settembre. Non significa che devi cambiare qualcosa: significa che la decisione si prende adesso, consapevolmente, e non fra tre settimane per effetto collaterale.

Se preferisci non tenere a mente la data, è quello che facciamo quando [configuriamo Cloudflare per un sito](https://cittago.com/it/services/cloudflare/): regole di cache, livello di sicurezza e adesso anche la politica sui bot AI, perché il file e il bordo della rete dicano la stessa cosa. Sul lato della visibilità negli assistenti AI abbiamo scritto a parte, in [llms.txt e cats.txt](https://cittago.com/it/blog/llms-txt-cats-txt-2026/), e su cosa succede quando i crawler restano fuori davvero, in [crawler AI bloccati dal firewall](https://cittago.com/it/blog/ai-crawlers-blocked-firewall-2026/).

## Domande che nessuno ci ha fatto

Nessuna è arrivata via email. Sono le domande a cui abbiamo dovuto rispondere noi per poter scrivere l'articolo, e le risposte sono brevi perché la documentazione è breve.

Ultimo aggiornamento: 24 agosto 2026. Le citazioni su Bot Preference Sync provengono dall'articolo «Say it once: introducing Bot Preference Sync», firmato da Jin-Hee Lee e pubblicato sul blog di Cloudflare il 21 agosto 2026, letto per intero il 24 agosto 2026 e tradotto da noi dall'inglese. Le citazioni sui valori predefiniti del 15 settembre 2026, le definizioni delle tre categorie e i livelli d'uso provengono da «Your site, your rules: new AI traffic options for all customers», pubblicato sullo stesso blog il 1° luglio 2026 e letto lo stesso giorno. La frase sul carattere volontario del file proviene dalla documentazione di prodotto sul robots.txt gestito. L'audit dei cinque domini è stato eseguito il 24 agosto 2026 con semplici richieste HTTP all'indirizzo pubblico /robots.txt di ciascuno; i conteggi di byte, righe e direttive sono stati fatti sui file scaricati in quel momento. Su Cloudflare Radar non abbiamo trovato la sezione di trasparenza sui bot AI a cui rimanda l'annuncio del 21 agosto: la pagina radar.cloudflare.com/bots è stata aperta con un browser reale, mentre altri quattro indirizzi plausibili dello stesso dominio hanno restituito 403 a un client HTTP semplice. Aggiorniamo la pagina se compare l'elenco pubblico dei crawler che soddisfano le quattro condizioni, se Cloudflare pubblica la data esatta di disponibilità generale o se la scadenza del 15 settembre viene spostata.

Fonti: [Cloudflare Blog — Say it once: introducing Bot Preference Sync (21 agosto 2026)](https://blog.cloudflare.com/bot-preference-sync/) · [Cloudflare Blog — Your site, your rules: new AI traffic options for all customers (1 luglio 2026)](https://blog.cloudflare.com/content-independence-day-ai-options/) · [Cloudflare Docs — Managed robots.txt](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/) · [Cloudflare Changelog — New options to manage AI traffic (1 luglio 2026)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) · [Google Search Central — robots.txt specification](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt)

*I tre momenti della stessa politica Cloudflare, come descritti negli annunci del 1° luglio e del 21 agosto 2026 e nella documentazione di prodotto, letti il 24 agosto 2026.*

| Che cosa | Fino a ora | Da adesso e dal 15 settembre |
| --- | --- | --- |
| Chi scrive robots.txt | Tu, una volta, a mano | Il pannello, ogni volta che cambia il catalogo dei bot |
| Categorie di traffico AI | Un unico pulsante, «Block AI bots» | Tre: ricerca, agente, addestramento — più il livello d'uso |
| Crawler con più scopi | Tracciato per un solo scopo | Tracciato per tutti, con la regola più restrittiva |
| Dominio nuovo con pubblicità | Nessun blocco predefinito | Addestramento e agente bloccati sulle pagine con pubblicità |
| Stato di bot verificato | Verificato significava consentito | Verificato significa consentito *nella sua categoria* |

*Il vocabolario minimo per leggere il proprio file e il proprio pannello. Le definizioni sono quelle dell'annuncio Cloudflare del 1° luglio 2026 e della documentazione di prodotto.*

| Termine | Che cosa significa |
| --- | --- |
| Search | Qualsiasi comportamento che raccoglie o indicizza i contenuti per poter poi rispondere a domande su di essi. Cloudflare scrive che qui il proprietario dovrebbe aspettarsi traffico di ritorno o un compenso equo. |
| Agent | Comportamento automatico che agisce, di solito in tempo reale, per conto di una persona. Include i bot di recupero delle chat e gli agenti che guidano un browser. La chiave: dall'altra parte c'è un umano che aspetta. |
| Training | Un crawler che prende i contenuti per addestrare o affinare un modello. La chiave: i dati vengono assorbiti in modo permanente nell'architettura del modello. |
| Crawler con più scopi | Definizione di Cloudflare: «bot che mescolano ricerca, uso come agente e addestramento dietro un unico user agent». |
| Content-Signal | La riga scritta nel robots.txt che esprime la preferenza, con i campi search, ai-input, ai-train e use. È una preferenza dichiarata, non un blocco. |
| use | Il quarto campo, con tre valori: immediate (interagisci ma non conservare nulla), reference (indicizza, cita brevemente e rimanda — predefinito) e full (riassumi e riproduci). |
| BotBase | Il catalogo Cloudflare dei bot tracciati. Alimenta l'elenco di agenti scritto nel robots.txt: il tuo file può cambiare perché è cambiato il catalogo. |

## Domande e risposte

**Devo fare qualcosa entro il 15 settembre 2026?**

Solo se hai scelto di bloccare l'addestramento AI sulla tua zona Cloudflare, con le opzioni nuove o con il vecchio pulsante Block AI bots. In quel caso Cloudflare scrive che puoi rinunciare ai nuovi valori predefiniti «nelle impostazioni di Sicurezza, in qualsiasi momento prima del 15 settembre». Se non hai mai bloccato l'addestramento, la scadenza non ti riguarda.

**Il mio file viene riscritto anche se non tocco niente?**

Sì, e questa è la parte che sfugge. Cloudflare aggiorna periodicamente l'elenco dei bot inserito nel file usando il proprio catalogo BotBase. Il tuo robots.txt può quindi cambiare perché è cambiato il catalogo, non perché hai cambiato tu una impostazione.

**Cosa succede se il mio file dice Allow e Cloudflare scrive Disallow?**

Non decide l'ordine, decide la specificità. La documentazione Google sul robots.txt è netta: «un solo gruppo è valido per un determinato crawler», quello «con lo user agent più specifico», e «i gruppi specifici per user agent e i gruppi globali (*) non vengono combinati». Nel file che abbiamo trovato ciascun agente AI aveva il proprio gruppo con Disallow: /, mentre il permesso del sito era un semplice Allow: / sotto User-agent: *. Il gruppo generico non viene nemmeno consultato per quegli agenti.

**Sono su WordPress. Cambia qualcosa?**

La piattaforma non c'entra. Conta solo se il dominio passa da Cloudflare e cosa è impostato nel pannello della zona. Un plugin SEO che genera robots.txt non vede il blocco anteposto a monte, quindi ti mostrerà un file diverso da quello che ricevono i crawler.

**Ho un e-commerce. Conviene bloccare l'addestramento?**

Cloudflare stesso porta l'esempio opposto: un negozio online può volere che tutto venga scansionato e usato per l'addestramento, così i suoi prodotti compaiono quando qualcuno chiede a un chatbot il divano migliore per un appartamento piccolo. Chi vive di pubblicità sulle pagine vuole il contrario. Non c'è una risposta unica, ed è proprio per questo che la casella va aperta e letta.

**Bot Preference Sync è già attivo sul mio dominio?**

Al 24 agosto 2026 no: Cloudflare scrive che sarà disponibile «a tutti i clienti, su ogni piano, nella settimana che viene», e rimanda al changelog per la data esatta. Chi usa la vecchia funzione di robots.txt gestito riceverà una richiesta di rivedere e confermare le proprie preferenze per passare alla nuova.

**Se blocco l'addestramento perdo posizioni su Google?**

Cloudflare afferma di no, ma solo per i crawler che cooperano: con l'opzione Disallow «la tua visibilità nella ricerca per i crawler che cooperano non è compromessa». Cooperare significa soddisfare quattro requisiti precisi. Quali crawler li soddisfino oggi non siamo riusciti a stabilirlo: la sezione pubblica di Cloudflare Radar citata nell'annuncio non l'abbiamo trovata.

**Qual è la differenza tra robots.txt e il blocco vero?**

Il file è una dichiarazione, la regola al bordo della rete è un blocco. La documentazione Cloudflare lo scrive senza giri di parole: «il rispetto di robots.txt è volontario. Il file esprime le tue preferenze, ma non impedisce tecnicamente ai crawler di accedere ai tuoi contenuti».

**Cosa cambia per un sito che vive di pubblicità?**

Al momento dell'aggiunta del dominio compare l'opzione «monetizzo da pagine con pubblicità su questo dominio», che imposta Addestramento su Disallow come valore predefinito. Resta modificabile in qualsiasi momento. Per gli altri domini nuovi Cloudflare scrive che non viene aggiunto alcun blocco predefinito.

**Google-Extended e Googlebot sono la stessa cosa?**

No, e la distinzione è il cuore della scadenza. Google-Extended è il controllo dedicato all'addestramento; Googlebot è il crawler della ricerca. Fino a oggi bloccare l'addestramento significava toccare il primo. Dal 15 settembre i crawler con più scopi vengono valutati su tutti i loro comportamenti, e Cloudflare nomina Googlebot fra questi.

---

Cittago · https://cittago.com · digital marketing, SEO, AI search, Google Ads and web development for small and medium companies in Romania, Italy and the EU.