Cloudflare îți scrie robots.txt. Capcana din 15 septembrie
Pe 21 august 2026 Cloudflare a anunțat Bot Preference Sync: fișierul robots.txt al site-ului tău se scrie de acum din panoul de control, pe toate planurile, pornit din oficiu la clienții noi. Vestea reală nu e asta. E o propoziție dintr-un anunț mai vechi, din 1 iulie: pe 15 septembrie 2026, crawlerele cu scopuri multiple precum Googlebot, Applebot și BingBot încep să fie blocate la clienții care au ales cândva să blocheze antrenarea AI. Inclusiv prin butonul vechi „Block AI bots”, apăsat acum un an și uitat acolo.
Ce s-a schimbat. Cloudflare a anunțat pe 21 august o funcție care generează și actualizează robots.txt pornind de la setările de boți AI din panou. Se adaugă deasupra fișierului tău, între două comentarii-marcaj, și e disponibilă pe toate planurile, de la Free la Enterprise. La clienții noi e pornită implicit.
De ce nu e o știre de infrastructură. Pe 15 septembrie 2026 intră în vigoare reguli implicite noi, anunțate pe 1 iulie. Cea care contează: crawlerele care fac și căutare, și antrenare vor fi tratate după toate comportamentele lor, cu regula cea mai restrictivă. Cloudflare numește trei: Googlebot, Applebot, BingBot.
Ce punem noi pe masă. Am deschis pe 24 august robots.txt-ul a cinci domenii pe care le administrăm. Unul dintre ele servea deja un bloc generat de Cloudflare care interzice nouă crawlere AI — pus deasupra unei linii scrise de noi care le spunea tuturor „intrați”. Nimeni nu observase, pentru că nimic nu semnalează asta.
- Verifici în două minute dacă fișierul tău mai e scris de tine, cu o singură adresă deschisă în browser.
- Știi ce e de bifat înainte de 15 septembrie și de unde se bifează, fără să ghicești prin panou.
- Ai cele patru condiții pe care Cloudflare le cere unui crawler ca să nu fie blocat — și motivul pentru care ele nu-ți spun încă nimic despre Googlebot.
- Ai un exemplu real de fișier cu două straturi care se contrazic, ca să recunoști tiparul la tine.
Fișierul robots.txt e cel mai vechi contract de pe web și cel mai prost citit. Are treizeci de ani, se scrie o dată și nu se mai deschide niciodată. Exact de-aia e locul perfect în care poate să apară, fără să observe nimeni, o regulă pe care n-ai scris-o tu.
Ce este Bot Preference Sync
Bot Preference Sync este o funcție Cloudflare care generează și actualizează fișierul robots.txt al site-ului tău pornind de la preferințele de boți AI pe care le-ai setat în panoul zonei, pentru trei categorii: căutare, agent și antrenare.
Aia e propoziția, și e scrisă ca să fie citată. Formularea Cloudflare, din anunțul semnat de Jin-Hee Lee pe 21 august 2026: funcția „reflectă ce ai setat în configurația de boți AI, actualizând preferințele corespunzătoare în robots.txt, și poate fi pornită sau oprită oricând”. Iar motivul e formulat și mai clar, două paragrafe mai sus: „în loc ca proprietarul unui site să întrețină un fișier static separat, Cloudflare generează sau actualizează robots.txt pe baza configurației tale, așa că ce spui lumii și ce aplici la marginea rețelei rămân sincronizate”.
Problema pe care o rezolvă e reală și o știe oricine a lucrat cu două straturi de protecție. Cloudflare o descrie așa: „există cazuri în care robots.txt spune că un crawler nu are voie să-ți acceseze site-ul, în timp ce regulile tale de aplicare chiar nu blochează acel crawler. Când preferințele declarate și regulile aplicate nu sunt de acord, unii crawleri tratează asta ca pe un motiv să-ți ignore preferințele sau să încerce să-ți ocolească regulile”.
Până aici e o veste bună fără asterisc: o funcție de igienă, gratuită, pe toate planurile. Asteriscul e în altă parte, și pentru el trebuie să ne întoarcem cu șapte săptămâni.
Ce apare în fișierul tău, exact
Cloudflare publică forma blocului, prescurtată și anonimizată în exemplul lor. Arată așa:
# BEGIN Cloudflare Bot Preference Sync
User-agent: TrainingBot1
User-agent: TrainingBot2
User-agent: TrainingBot3
User-agent: MixedUseBot-Extended
Disallow: /
...
# END Cloudflare Bot Preference SyncDouă lucruri de reținut din bucata asta. Primul: blocul are marcaje de început și de sfârșit, deci e recunoscibil dintr-o privire. Al doilea: lista de agenți dinăuntru nu e fixă. Cloudflare scrie că folosește boții pe care îi urmărește în BotBase „ca să actualizeze periodic lista de boți adăugată în robots.txt atunci când alegi să blochezi sau să interzici o categorie”. Adică fișierul tău se poate schimba fără ca tu să fi schimbat ceva, pentru că s-a schimbat catalogul lor.
Și încă un detaliu care contează pentru cine are deja un fișier scris de mână: „dacă proprietarul site-ului are deja un fișier robots.txt, conținutul adăugat de Bot Preference Sync va fi pus înaintea materialului existent, așa că orice directivă Disallow existentă este păstrată”. Propoziția e adevărată și liniștitoare pe jumătate. Ce se păstrează sunt interdicțiile tale. Despre permisiunile tale nu scrie nimic — și acolo e toată povestea.
În panou, categoriile se cheamă Search, Agent și Training. În fișier, semnalele scrise se cheamă search, ai-input și ai-train, plus un al patrulea, use, cu trei valori: immediate, reference (implicit) și full. Nu sunt aceleași cuvinte și nu se traduc unu-la-unu: „Agent” din panou corespunde lui ai-input din fișier. Dacă cauți în fișier cuvântul pe care l-ai bifat în panou, n-o să-l găsești.
Cinci domenii, deschise pe 24 august
Nu ne-am uitat la anunț și am plecat mai departe. Pe 24 august 2026 am deschis robots.txt-ul a cinci domenii pe care le administrăm — regula de selecție a fost simplă: proiecte pe care le rulăm noi, în trei țări, toate în spatele Cloudflare — și am numărat trei lucruri în fiecare: câte octeți are fișierul, de câte ori apare cuvântul Cloudflare și câte rânduri Disallow conține.
Patru din cinci n-au avut nicio urmă de Cloudflare în fișier. Al cincilea a avut trei.
Fișierul acela avea 2.240 de octeți și 69 de rânduri, dintre care nouă rânduri Disallow, niciunul scris de noi. Toate nouă veneau dintr-un bloc marcat # BEGIN Cloudflare Managed content, cu agenții interziși unul câte unul: Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, CloudflareBrowserRenderingCrawler, Google-Extended, GPTBot și meta-externalagent. Deasupra tuturor, preambulul juridic al semnalelor de conținut, cu trimitere la Articolul 4 din Directiva 2019/790.
# BEGIN Cloudflare Managed content
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
...
User-agent: GPTBot
Disallow: /
# END Cloudflare Managed ContentIar dedesubtul blocului, în același fișier, un comentariu scris de noi, cu data lui: „Deschis motoarelor de căutare din 2026-08-11”, urmat de User-agent: * și Allow: /. Adică exact intenția opusă, în același fișier. Când a fost pornit blocul de deasupra nu putem spune: data din comentariu e a noastră, nu a lui.
Pentru contrast, fișierul de pe cittago.com, în aceeași zi: 543 de octeți, 27 de rânduri, zero apariții ale cuvântului Cloudflare și nouă crawlere AI menționate explicit cu Allow: / — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-Web, PerplexityBot, Google-Extended, Applebot-Extended și CCBot. Nouă interzise într-un fișier, nouă invitate în celălalt, ambele zone la același furnizor, ambele administrate de aceiași oameni.
Detaliul care arată cel mai bine că lista nu e fixă: documentația Cloudflare pentru robots.txt gestionat, actualizată pe 3 august 2026, dă un exemplu de bloc cu opt agenți. Fișierul servit în ziua în care ne-am uitat avea nouă — cel în plus fiind CloudflareBrowserRenderingCrawler. Documentul și fișierul sunt scrise de aceeași companie, la o distanță de trei săptămâni.
Și lucrul care schimbă concluzia, nu doar o nuanțează. Instinctul spune că, într-un fișier cu două grupuri care se contrazic, câștigă ultimul, sau primul. Nu ordinea decide, ci specificitatea: documentația Google pentru robots.txt o scrie fără echivoc — „un singur grup e valid pentru un anumit crawler”, cel „cu agentul de utilizator cel mai specific”, iar „grupurile specifice unui agent și grupurile globale (*) nu se combină”. Fiecare dintre cei nouă agenți AI avea grupul lui, cu Disallow: /. Permisiunea noastră era scrisă ca User-agent: *. Deci linia pe care o scrisesem, deliberat, cu data ei alături, nu avea cum să se aplice niciunuia dintre cele nouă crawlere pentru care fusese scrisă.
Onestitatea cere o precizare, pentru că fără ea cifra de mai sus e o poveste bună și o dovadă slabă: dinafară nu se poate spune dacă blocul acela a fost injectat de Cloudflare la livrare sau lipit cândva în fișierul-sursă. Verificarea care lămurește asta se face din panou, nu cu un curl. Pentru cititor, distincția nu schimbă nimic: acțiunea e aceeași în ambele cazuri, și începe cu deschiderea fișierului.
Un amănunt îl lămurește totuși pe jumătate. Marcajul spune Cloudflare Managed content, nu Cloudflare Bot Preference Sync. Ăla e numele vechi al funcției, cel din documentație — deci zona aia e exact cazul despre care Cloudflare scrie că „vom cere să-ți revizuiești și să-ți confirmi preferințele, ca să treci la noul Bot Preference Sync la lansarea lui”. Prompt-ul o să vină. Întrebarea e dacă îl citește cineva sau îl confirmă din reflex.
Data care contează e 15 septembrie
Anunțul din 21 august e despre un fișier. Anunțul din 1 iulie, intitulat „Site-ul tău, regulile tale: opțiuni noi de trafic AI pentru toți clienții”, e despre ce se întâmplă la ușă. Acolo e propoziția cu termen: „pe 15 septembrie 2026 vom seta valori implicite noi pentru fiecare dintre cele trei clasificări. Pentru toate domeniile noi care intră pe Cloudflare, categoriile Training și Agent vor fi blocate implicit pe paginile care afișează reclame, în timp ce Search va rămâne permis implicit”.
Partea asta e limpede și, ca decizie de produs, e apărabilă. Cloudflare o explică într-o propoziție pe care merită s-o citești de două ori: „o reclamă e un semnal că proprietarul site-ului a vrut ca un om să ajungă acolo și s-o vadă”. Pe paginile alea, atenția umană e scopul, deci boții care o consumă fără s-o întoarcă sunt ținuți afară.
A doua schimbare din aceeași zi e cea care mută pământul, și e scrisă imediat sub prima.
Googlebot, Applebot și BingBot, scrise în propoziție
Citatul, integral, pentru că fiecare bucată din el contează: „o altă schimbare care se va aplica pe 15 septembrie e că crawlerele cu scopuri multiple (mai exact cele care combină Search cu Training) vor fi permise sau blocate în funcție de toate comportamentele lor, în acord cu apelul nostru la transparență pentru proprietarii de site-uri. Din moment ce valorile implicite vor fi aplicate după cele mai restrictive reguli aplicabile, crawlerele cu scopuri multiple precum Googlebot, Applebot și BingBot vor fi blocate de clienții care au ales să blocheze antrenarea (fie prin noile opțiuni de gestionare a traficului AI, fie prin serviciul vechi Block AI bots)”.
Trei lucruri de citit cu atenție aici, pentru că e ușor să tragi din ele mai mult decât scrie.
Unu. Propoziția nu spune „Cloudflare blochează Googlebot”. Spune că Googlebot „va fi blocat de clienții care au ales să blocheze antrenarea”. Subiectul acțiunii ești tu, prin setarea ta. Dacă n-ai blocat niciodată antrenarea, propoziția nu te privește.
Doi. Include explicit „serviciul vechi Block AI bots”. Ăla e butonul de un clic lansat de Cloudflare acum un an, la primul Content Independence Day. Foarte multe site-uri l-au apăsat atunci, într-o perioadă în care era clar ce înseamnă. Din 15 septembrie înseamnă altceva.
Trei. Există o ieșire, și e scrisă în același paragraf: „dacă proprietarul unui site vrea să renunțe la aceste configurații implicite noi, poate marca asta în setările de Securitate oricând înainte de 15 septembrie, ceea ce va confirma că nu vrea nicio schimbare privind crawlerele de antrenare care fac și căutare”. Cloudflare promite și notificări pe măsură ce data se apropie.
Anunțul din 21 august adaugă o nuanță care nu anulează nimic din ce e mai sus, dar schimbă cine e afectat. Pentru categoria Training, opțiunea Disallow a fost redefinită: preferința de „fără antrenare” se scrie în robots.txt, „astfel încât crawlerele cu scopuri multiple care cooperează și fac pasul suplimentar de transparență să poată în continuare să-ți acceseze conținutul pentru indexare în căutare”. Cloudflare adaugă, în propoziția următoare: „vizibilitatea ta în căutare pentru crawlerele care cooperează nu este afectată”.
Deci întrebarea se reduce la una singură, foarte concretă: Googlebot cooperează?
Cele patru condiții, și lista pe care n-am găsit-o
Cloudflare nu lasă „cooperează” la aprecierea nimănui. Scrie patru cerințe, iar operatorii de boți care fac și căutare, și antrenare trebuie să le îndeplinească „pentru a nu fi blocați când e setat Disallow Training”:
- botul trebuie să respecte, prin orice mecanism, o preferință de „fără antrenare” din robots.txt;
- oferă proprietarilor de site-uri o cale de a se retrage din rezumatele AI;
- oferă vizibilitate la nivel de URL asupra paginilor care au fost puse la dispoziție pentru antrenare, plus metrici despre rezultatele de căutare, ca să vezi cum ți-a fost folosit conținutul;
- pot arăta public că interzicerea antrenării nu-ți strică rezultatele din căutarea tradițională.
A treia e cea grea: cere un raport la nivel de URL despre ce anume a fost pus la dispoziție pentru antrenare. Noi n-am găsit un astfel de raport la niciunul dintre cele trei motoare numite — ceea ce nu e o dovadă că nu există, ci o constatare despre ce am putut verifica. A patra e și mai grea, pentru că îi cere unui furnizor să demonstreze public un lucru pe care nu-l poate demonstra decât el.
Cloudflare spune și unde se verifică: boții „care îndeplinesc aceste criterii sunt urmăriți public în secțiunea de transparență a boților AI din Cloudflare Radar”. Am căutat-o pe 24 august. Pagina radar.cloudflare.com/bots, deschisă cu un browser real și citită integral, nu conține o astfel de secțiune și nu conține deloc cuvântul Googlebot. Alte patru adrese plauzibile de pe același domeniu ne-au întors 403 la un client HTTP simplu, deci despre ele nu putem spune nimic — nici că există, nici că nu.
Ce rezultă din asta, cu grijă: nu că lista nu există. Doar că, la trei săptămâni de termen, un proprietar de site care vrea să afle dacă Googlebot îi rămâne sau nu la ușă nu are unde să se uite. Iar decizia lui trebuie luată înainte de 15 septembrie.
Ce-ți trebuie ca să verifici azi
Nimic special. Verificarea durează mai puțin decât cititul articolului ăstuia.
- Un browser. Deschide
domeniul-tău.ro/robots.txt. Fișierul e public prin definiție, la tine ca la oricine altcineva. - Un singur cuvânt de căutat în pagină: Cloudflare. Dacă apare, fișierul nu e scris integral de tine.
- Acces la panoul Cloudflare al zonei, la secțiunea de boți AI. Acolo se vede ce e setat pe Search, Agent și Training — și tot acolo se marchează renunțarea la valorile implicite noi, în setările de Securitate.
- Cinci minute și cineva care știe ce vrea site-ul. Partea tehnică e o bifă. Partea grea e să decizi dacă vrei să apari în răspunsurile asistenților AI sau nu, iar aia nu e o întrebare de infrastructură.
Dacă nu știi cine ți-a configurat zona sau ce e bifat în ea, e exact genul de lucru pe care îl deschidem noi la configurarea Cloudflare pentru site — o oră, și afli ce spune fișierul tău despre tine.
Ce NU face funcția asta
- Nu blochează nimic. Documentația Cloudflare o spune direct: „respectarea robots.txt este voluntară. Fișierul exprimă preferințele tale, dar nu împiedică crawlerele să-ți acceseze conținutul la nivel tehnic. Unii operatori de crawlere îți pot ignora directivele din robots.txt și îți pot parcurge conținutul oricum”. Tot documentația spune și care e unealta pentru blocare efectivă: „dacă vrei să impui blocarea parcurgerii, nu doar s-o ceri, folosește AI Crawl Control”. Sunt două lucruri diferite, în două locuri diferite din panou.
- Nu-ți citește regulile personalizate. Cloudflare scrie că funcția e proiectată pentru decizii la nivel de categorie, nu caz cu caz, și „nu va citi direct din reguli personalizate individuale cu logică mai complexă”. Dacă ai o excepție negociată cu un operator anume, sincronizarea trebuie oprită.
- Nu-ți șterge interdicțiile. Blocul se pune deasupra, iar directivele
Disallowexistente se păstrează. Despre permisiunile existente nu spune nimic. - Nu te scutește de decizie. Cloudflare e explicit că nu există un răspuns unic: un magazin online poate să vrea ca tot să fie parcurs și antrenat, „ca produsele lui să apară când un cumpărător cere unui chatbot cea mai bună canapea pentru un apartament mic”, iar un editor care trăiește din reclame vrea exact invers.
- Nu e retroactivă. Ce a fost deja parcurs și absorbit într-un model rămâne acolo. Preferința pe care o setezi lucrează de aici înainte, nu retroactiv.
Înainte și acum, în tabel
| Ce anume | Până acum | De acum și din 15 septembrie |
|---|---|---|
| Cine scrie robots.txt | Tu, o dată, manual | Panoul, ori de câte ori se schimbă catalogul de boți |
| Categorii de trafic AI | Un singur buton, „Block AI bots” | Trei: căutare, agent, antrenare — plus nivelul de folosire |
| Crawler cu scopuri multiple | Urmărit după un singur scop | Urmărit după toate, cu regula cea mai restrictivă |
| Domeniu nou, cu reclame | Fără blocaje implicite | Antrenare și agent blocate implicit pe paginile cu reclame |
| Statutul de bot verificat | Verificat însemna permis implicit | Verificat înseamnă permis în categoria lui |
Cuvintele, în tabel
| Termen | Ce înseamnă |
|---|---|
| Search | Orice comportament care colectează sau indexează conținutul, ca să poată răspunde mai târziu la întrebări despre el. Cloudflare scrie că aici proprietarul ar trebui să se aștepte la trafic de întoarcere sau la o compensație echitabilă. |
| Agent | Comportament automat care acționează, de obicei în timp real, în numele unei persoane. Include boții de preluare din chat și agenții care conduc un browser. Cheia: în capătul celălalt așteaptă un om. |
| Training | Un crawler care ia conținutul ca să antreneze sau să ajusteze un model. Cheia: datele tale sunt absorbite permanent în arhitectura modelului. |
| Crawler cu scopuri multiple | Definiția Cloudflare: „boți care amestecă în spatele unui singur agent de utilizator căutarea, folosirea ca agent și antrenarea”. |
| Content-Signal | Rândul scris în robots.txt care exprimă preferința, cu câmpurile search, ai-input, ai-train și use. E o preferință declarată, nu un blocaj. |
| use | Al patrulea câmp, cu trei valori: immediate (interacționează, dar nu păstra nimic), reference (indexează, citează scurt și trimite înapoi — implicit) și full (rezumă și reproduce). |
| BotBase | Catalogul Cloudflare de boți urmăriți. El alimentează lista de agenți scrisă în robots.txt, deci fișierul tău se poate schimba fiindcă s-a schimbat catalogul. |
Unde ești, în trei praguri
Primul prag — site-ul tău nu e în spatele Cloudflare. Nimic din articolul ăsta nu se aplică azi la tine, iar fișierul tău e exact cum l-ai lăsat. Lucrul util pentru tine e altul: deschide-l oricum, pentru că șansa să conțină o linie pusă acum patru ani de un plugin e mai mare decât crezi.
Al doilea prag — ești pe Cloudflare și nu știi ce e bifat. Ăsta e cazul majoritar și e și cel mai ieftin de rezolvat: două minute pe fișier, cinci în panou. Dacă găsești un bloc # BEGIN Cloudflare, citește-l până la capăt și compară-l cu ce voiai tu să spună site-ul. Restul deciziei se ia o singură dată.
Al treilea prag — ai apăsat „Block AI bots” cândva, deliberat, și n-ai revizuit setarea de atunci. Ești exact persoana din propoziția Cloudflare despre 15 septembrie. Nu înseamnă că trebuie să schimbi ceva; înseamnă că decizia se ia acum, conștient, nu peste trei săptămâni, prin efect secundar.
Dacă vrei să nu ții tu minte data, asta facem când configurăm Cloudflare pentru un site: reglăm regulile de cache, nivelul de securitate și acum și politica de boți AI, ca fișierul și marginea rețelei să spună același lucru. Despre partea de vizibilitate în răspunsurile asistenților AI am scris separat, în articolul despre llms.txt și cats.txt, iar despre ce se vede din partea cealaltă a ușii, în cel despre crawlerele AI blocate de firewall.
Întrebări pe care nu ni le-a pus nimeni
Niciuna n-a venit pe e-mail. Sunt întrebările la care a trebuit să răspundem noi înșine ca să putem scrie articolul, iar răspunsurile sunt scurte pentru că documentația e scurtă.
Ce este Bot Preference Sync, pe scurt?
E o funcție Cloudflare, anunțată pe 21 august 2026, care ține robots.txt-ul site-ului tău sincronizat cu preferințele de boți AI pe care le-ai setat în panou, pentru cele trei categorii Search, Agent și Training. Formularea Cloudflare: funcția „reflectă ce ai setat în configurația de boți AI, actualizând preferințele corespunzătoare în robots.txt, și poate fi pornită sau oprită oricând”.
Îmi șterge regulile pe care le am deja în robots.txt?
Nu. Cloudflare scrie că, dacă ai deja un fișier, conținutul adăugat „va fi pus înaintea materialului existent, așa că orice directivă Disallow existentă este păstrată”. Blocul se adaugă deasupra, între două comentarii-marcaj. Ce nu spune propoziția aia e ce se întâmplă când blocul de sus zice Disallow pentru un agent pe care fișierul tău de jos îl lasă să intre.
Ce se întâmplă pe 15 septembrie 2026?
Cloudflare schimbă regulile implicite pentru cele trei categorii. Domeniile noi primesc Training și Agent blocate implicit pe paginile cu reclame, iar Search rămâne permis. Și, separat de asta, crawlerele cu scopuri multiple încep să fie tratate după toate comportamentele lor deodată, cu regula cea mai restrictivă care se aplică.
De ce apar Googlebot, Applebot și BingBot în discuție?
Pentru că le numește Cloudflare, în propoziție: crawlerele cu scopuri multiple „precum Googlebot, Applebot și BingBot vor fi blocate de clienții care au ales să blocheze antrenarea (fie prin noile opțiuni de gestionare a traficului AI, fie prin serviciul vechi Block AI bots)”. Dacă ai apăsat cândva butonul ăla și l-ai uitat acolo, propoziția e despre tine.
Cum verific în două minute dacă mă privește?
Deschide adresa domeniul-tău.ro/robots.txt în browser și caută cuvântul Cloudflare. Dacă vezi un rând care începe cu # BEGIN Cloudflare, fișierul tău nu e scris integral de tine. Apoi intră în panoul Cloudflare, la setările de boți AI ale zonei, și uită-te ce e bifat la Training.
Robots.txt chiar oprește un crawler?
Nu. Documentația Cloudflare o spune fără ocolișuri: „respectarea robots.txt este voluntară. Fișierul exprimă preferințele tale, dar nu împiedică crawlerele să-ți acceseze conținutul la nivel tehnic”. Blocarea reală se face la marginea rețelei, cu reguli. Bot Preference Sync există tocmai ca cele două straturi să nu mai spună lucruri diferite.
Sunt pe planul gratuit. Mă privește?
Da. Cloudflare scrie că funcția e disponibilă „tuturor clienților, de la nivelul Free până la Enterprise”. Iar setările noi implicite din 15 septembrie sunt anunțate pentru toate domeniile noi, nu doar pentru cele plătite.
Am un magazin online. Ce ar trebui să aleg?
Cloudflare însuși dă exemplul: un magazin poate să vrea ca tot să fie parcurs și folosit la antrenare, ca produsele lui să apară când cineva întreabă un asistent care e cea mai bună canapea pentru un apartament mic. Un editor care trăiește din reclame vrea exact invers. Nu există un răspuns unic, și ăsta e tocmai motivul pentru care setarea trebuie deschisă și citită, nu lăsată pe implicit.
Ce e opțiunea pentru site-urile care trăiesc din reclame?
La adăugarea domeniului, Cloudflare oferă bifa „monetizez de pe pagini cu reclame pe domeniul ăsta”, iar bifa aia setează Training pe Disallow ca valoare implicită. Rămâne schimbabilă oricând. Pentru celelalte site-uri noi, Cloudflare scrie că nu se adaugă niciun blocaj implicit la adăugarea domeniului.
Am reguli personalizate pentru un anumit bot. Le citește?
Nu. Cloudflare scrie că funcția e proiectată pentru decizii la nivel de categorie, nu caz cu caz, și că „nu va citi direct din reguli personalizate individuale cu logică mai complexă”. Dacă ai o înțelegere specială cu un operator anume, varianta e să oprești sincronizarea și să-ți scrii fișierul de mână.
Ultima actualizare: 24 august 2026. Citatele despre Bot Preference Sync provin din articolul „Say it once: introducing Bot Preference Sync”, semnat de Jin-Hee Lee și publicat pe blogul Cloudflare pe 21 august 2026, citit integral pe 24 august 2026 și tradus de noi din engleză. Citatele despre valorile implicite din 15 septembrie 2026, definițiile celor trei categorii și nivelurile de folosire provin din „Your site, your rules: new AI traffic options for all customers”, publicat pe același blog pe 1 iulie 2026 și citit în aceeași zi. Propoziția despre caracterul voluntar al fișierului provine din documentația de produs pentru robots.txt gestionat. Auditul celor cinci domenii a fost rulat pe 24 august 2026, cu cereri HTTP simple către adresa publică /robots.txt a fiecăruia; numărătorile de octeți, rânduri și directive au fost făcute pe fișierele descărcate atunci. Nu am găsit pe Cloudflare Radar secțiunea de transparență a boților AI la care trimite anunțul din 21 august; pagina radar.cloudflare.com/bots a fost deschisă cu un browser real, iar alte patru adrese plauzibile de pe același domeniu au întors 403 unui client HTTP simplu. Actualizăm pagina dacă apare lista publică de crawlere care îndeplinesc cele patru condiții, dacă Cloudflare publică data exactă de disponibilitate generală sau dacă termenul din 15 septembrie se mută.
Surse: Cloudflare Blog — Say it once: introducing Bot Preference Sync (21 august 2026) · Cloudflare Blog — Your site, your rules: new AI traffic options for all customers (1 iulie 2026) · Cloudflare Docs — Managed robots.txt · Cloudflare Changelog — New options to manage AI traffic (1 iulie 2026) · Google Search Central — robots.txt specification
