ChatGPT și robots.txt: fișierul nu decide accesul AI
Fie că vrei să apari în răspunsurile AI, fie că vrei să ții asistenții departe de site, probabil te uiți în același loc greșit: un fișier text din 1994. OpenAI scrie negru pe alb că botul care îți citește paginile pentru utilizatori poate să nu-l ia în seamă. Iar noi am măsurat și reversul: fișierul nostru permite tot, firewall-ul blochează 95%.
Ce s-a întâmplat. Presa de specialitate a scos în față, pe 14 august, o frază care stă de mult în documentația OpenAI: ChatGPT-User — botul care îți deschide pagina în timp real când un utilizator întreabă de domeniul tău — nu se consideră legat de robots.txt, pentru că acțiunea pornește de la un om.
Cine poate închide pagina. Dacă nu te interesează nici să te citească, nici să te recomande asistenții AI, n-ai nimic de făcut azi. Firewall-ul tău decide oricum în locul tău — probabil mai dur decât crezi.
De ce merită un sfert de oră. Pentru că fișierul pe care îl editează toată lumea nu e stratul care hotărăște. Pe site-ul nostru am măsurat ambele sensuri: robots.txt deschis pe nume pentru fiecare bot OpenAI, și 95% din cererile ChatGPT-User blocate oricum, de două ziduri pe care a trebuit să le descoperim singuri.
- Cei patru boți OpenAI într-un tabel: pe care îi ține fișierul și pe care nu.
- Fraza exactă din documentație, citată și tradusă.
- Cazul nostru, cu trei măsurători datate și grupul de control Googlebot.
- Lista scurtă cu care verifici singur, într-o oră, ce face site-ul tău cu boții AI.
Există două tabere care editează același fișier din motive opuse. Una vrea afară din AI: nu vrea conținutul folosit la antrenare, nu vrea boți pe server. Cealaltă — cea din care fac parte mai toate firmele mici care ne scriu — vrea înăuntru: vrea ca ChatGPT să-i poată citi pagina de servicii când cineva întreabă de o firmă din orașul lor. Vestea proastă e comună: pentru botul care contează, fișierul nu garantează nici blocarea, nici accesul. Prima jumătate e scrisă în documentația OpenAI. A doua e măsurată pe site-ul nostru, cu cifre de azi.
Cei patru boți OpenAI, în tabel
Aproape orice discuție despre „blocat ChatGPT" amestecă patru agenți diferiți, care răspund la pârghii diferite. Documentația OpenAI, recitită integral pe 15 august 2026, îi descrie așa:
| User agent | Ce face | Îl leagă robots.txt? |
|---|---|---|
| GPTBot | Adună conținut care poate intra în antrenarea modelelor OpenAI | Da — Disallow înseamnă că nu vrei conținutul folosit la antrenare |
| OAI-SearchBot | Indexează site-ul pentru rezultatele de căutare din ChatGPT | Da — cine îl exclude dispare din răspunsurile de căutare, „deși poate apărea în continuare ca link de navigare" |
| OAI-AdsBot | Vizitează paginile trimise ca reclame în ChatGPT, ca să le valideze | Documentația nu invocă robots.txt aici — vizitează doar pagini pe care tu le-ai trimis ca reclame |
| ChatGPT-User | Deschide pagina pe loc, când întrebarea unui utilizator o cere | „Regulile robots.txt pot să nu se aplice" — formularea OpenAI |
Fiecare din cei patru are o listă publică de adrese IP — gptbot.json, searchbot.json, adsbot.json, chatgpt-user.json pe openai.com. Contează mai mult decât pare: șirul de user-agent e o etichetă pe care o poate purta oricine, iar listele de IP-uri sunt singurul mod de a despărți traficul real OpenAI de impostorii îmbrăcați în numele lui. O să-i întâlnim la cifrele noastre.
Ce este ChatGPT-User
ChatGPT-User e user agentul pe care OpenAI îl trimite când o conversație din ChatGPT are nevoie să deschidă o pagină web în timp real: omul întreabă, asistentul îți citește pagina ca să răspundă, iar serverul tău vede o cerere semnată ChatGPT-User/1.0. Nu e un crawler care umblă pe web după programul lui — OpenAI scrie că „nu e folosit pentru parcurgerea automată a webului".
Propoziția asta de definiție duce în spate tot articolul: o citire declanșată de întrebarea unui om este, în interpretarea OpenAI, vizita omului, nu a botului — iar robots.txt a fost scris pentru boți.
Fraza pe care OpenAI a scris-o în documentație
Pasajul, citat din documentația în engleză:
ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply.
În traducere: „ChatGPT-User nu e folosit pentru parcurgerea automată a webului. Pentru că aceste acțiuni sunt inițiate de un utilizator, regulile robots.txt pot să nu se aplice." Nu e formulată ca un anunț — e descrierea stabilă a felului în care funcționează sistemul, pe care raportul TollBit și presa de specialitate au făcut-o imposibil de ocolit. Și nu e nici mărturisirea unei încălcări: robots.txt e o convenție voluntară din 1994, iar OpenAI spune deschis că, pentru citirile cerute de utilizatori, nu consideră convenția obligatorie. Consecința practică e aceeași indiferent cum judeci raționamentul: un Disallow pe ChatGPT-User e o rugăminte, iar documentația te anunță că rugămintea poate fi refuzată.
Tot de pe pagina aia, două detalii pe care nu le citează aproape nimeni. Unu: nici pentru boții care ascultă de fișier schimbarea nu e instantanee — OpenAI scrie că sistemele ei pot avea nevoie de „aproximativ 24 de ore" ca să preia un robots.txt modificat. Doi: dacă permiți și GPTBot și OAI-SearchBot, OpenAI poate folosi „rezultatele unui singur crawl pentru ambele scopuri" — o vizită, două întrebuințări, bine de știut când ți se par mici cifrele din log.
Cazul nostru: fișier deschis, firewall închis
robots.txt-ul de pe cittago.com e cât de primitor permite formatul: începe cu un comentariu care spune explicit că motoarele și asistenții AI sunt bineveniți, apoi dă Allow: / pe nume lui GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot și altora. Dacă fișierul ar decide accesul, fiecare cerere OpenAI ar primi pagina.
Iată ce se întâmplă de fapt, măsurat pe zona noastră Cloudflare în trei ferestre de 23 de ore. Numărătoarea e pe șirul de user-agent; „blocată" înseamnă 403 de la unul din cele două straturi: firewall-ul Cloudflare la margine sau stratul de securitate al hostingului (Imunify360) pe serverul de origine.
| Fereastra (23h) | Cereri ChatGPT-User | Blocate de Cloudflare | Blocate la origine | Au primit conținut | Blocate |
|---|---|---|---|---|---|
| 5 august 2026 — înainte să știm | 191 | 157 | 18 | 16 | 92% |
| 5–6 august — ziua fixului nostru din Cloudflare | 238 | 81 | 126 | 30 | 87% |
| 14–15 august 2026 — acum | 645 | 165 | 450 | 30 | 95% |
Cronologia e partea care se ține minte. Pe 5 august am auditat zona și am găsit primul zid: o regulă Cloudflare care bloca niște continente întregi, scrisă cu ani în urmă împotriva spamului, și care nimerea din plin infrastructura — concentrată în Singapore — de pe care pleacă fetcher-ele AI. Am deschis stratul ăla în aceeași zi, cu o regulă care scutește doar cererile pe care Cloudflare le verifică drept boți autentici. Al doilea zid a rămas: stratul de securitate de la origine, pe care îl poate ridica doar hostingul — și încă nu s-a întâmplat. Azi, la zece zile după ce am deschis prima poartă, 450 din 645 de cereri cu semnătura ChatGPT-User mor de zidul ăla.
Trei note de citire cinstită. Cele 165 de cereri oprite în continuare la Cloudflare sunt trafic care pică verificarea de boți — în mare parte impostori care poartă șirul ChatGPT-User, adică un sfert din total. Iar grupul de control ține experimentul onest: în aceeași fereastră, Googlebot a făcut 56 de cereri și bingbot 41, și niciuna n-a fost blocată de vreun strat. Claude-User, prin contrast: 21 de cereri, 21 servite. Zidurile sunt selective — exact de-asta nu le poți ghici din afară. Și socoteala: un răspuns în afara celor trei coloane — un 404, de pildă — face ca un rând să nu dea fix totalul; rândul din 5–6 august explică așa 237 din 238.
Sensul invers merită spus apăsat: TollBit măsoară site-uri care au zis nu și au fost citite oricum. Noi măsurăm un site care a zis da și a fost blocat oricum. Cititul evenimentelor de firewall lângă robots.txt e prima verificare pe care o facem în serviciul nostru de SEO pentru căutarea AI: fișierul înregistrează intenția, log-ul înregistrează adevărul — și încă n-am auditat un site unde cele două să coincidă de la prima citire.
Descoperirea inițială, strat cu strat, e scrisă în auditul firewall-ului care ne bloca 79% din crawlerele AI; cu aceeași metodă de numărare am verificat și dacă citește cineva llms.txt.
Ce arată log-urile din Europa
Raportul „State of the Bots" al TollBit dă tabloul de piață. După cifrele așa cum le-a relatat Search Engine Journal pe 14 august 2026 — am citit relatarea SEJ, nu raportul-sursă — pe site-urile europene din raport, în prima jumătate a lui 2026, cam 15% din fetcher-ele AI identificate au ajuns pe URL-uri marcate Disallow în robots.txt. Pentru trei agenți anume — ChatGPT-User, Bytespider (ByteDance) și Youbot (You.com) — citirile au atins pagini interzise pe aproape jumătate din site-urile europene care îi listau explicit.
Același raport are și un număr mai tăcut: Europa abia folosește fișierul pentru agenții noi. Doar 9% din site-urile europene pun Disallow pe Claude-User, față de 26% în America de Nord; la Perplexity-User raportul e 13% la 26%. Oricum ai citi diferența — mai puțină îngrijorare, mai puțină informare sau pur și simplu mai puțin timp pierdut pe un fișier care nu e pârghia reală — dezbaterea despre robots.txt se poartă în mare parte pe alt continent.
Cum verifici singur, într-o oră
Nu-ți trebuie un abonament nou — o oră și accese pe care le ai deja.
- Log-urile CDN-ului sau ale serverului, filtrate pe user agent, cu codul de răspuns lângă fiecare cerere. Pe planul gratuit Cloudflare fereastra e de 24 de ore — destul pentru o fotografie, dacă o faci intenționat.
- Lista agenților care te interesează. Cei patru OpenAI, plus Claude-User, PerplexityBot și Googlebot ca grup de control.
- O privire la ambele straturi. Un 403 la margine care n-a ajuns la server e opera CDN-ului; un 403 emis de origine e serverul sau softul lui de securitate. Se repară din panouri diferite.
- Listele publice de IP-uri OpenAI, dacă vrei să desparți fetcher-ele reale de impostori înainte să tragi concluzii.
Înainte și acum: unde se decide accesul
| Era robots.txt | August 2026 | |
|---|---|---|
| Cine îți citește paginile | Crawlere, după programul lor | Crawlere, plus fetchere pe loc, mișcate de întrebarea unui om |
| Unde îți exprimi preferința | robots.txt, un fișier, public | robots.txt pentru crawlere; reguli WAF și firewall de origine pentru tot |
| Cine o pune în practică | Botul, de bunăvoie | CDN-ul și serverul tău, fără să întrebe — inclusiv împotriva traficului pe care îl voiai |
| Cum verifici | Practic nu puteai | Log de evenimente firewall, pe user agent, pe cod de răspuns |
Ce nu spune articolul ăsta
- Nu spune că OpenAI ignoră robots.txt în general. GPTBot și OAI-SearchBot sunt documentați ca respectând fișierul, iar datele noastre nu dovedesc nimic în sens contrar pe punctul ăsta.
- Nu spune că site-ul tău arată ca al nostru. Un site mic, o zonă, două ziduri concrete. Ale tale vor fi altele — ideea e că ziduri ai, și nu le-ai citit.
- Numărătorile noastre sunt pe șirul de user-agent. O parte din cele 645 de cereri erau sigur false; cele 165 oprite la margine, în mare parte da. Cele 450 de blocări de la origine lovesc la fel traficul real și pe cel fals — exact asta e problema.
- Cifrele europene sunt ale TollBit, citite prin relatarea SEJ. Raportul-sursă nu l-am auditat, și cităm numerele cu lanțul ăsta la vedere.
Unde te afli, în trei praguri
Pragul unu — nu te-ai uitat niciodată. Ai un robots.txt configurat cândva de cineva și nicio idee ce face firewall-ul cu fetcher-ele AI. O oră în log-urile CDN-ului te mută la pragul doi. Mai toate site-urile pe care le-am verificat blocau trafic pe care credeau că l-au invitat.
Pragul doi — te-ai uitat și ai găsit ziduri. De aici e instalatorie: afli care strat blochează, decizi pe fiecare agent ce vrei de fapt, scrii reguli care verifică boții în loc să creadă etichetele. Socotește zile, nu minute — la noi, zidul al doilea stă în picioare și după zece zile.
Pragul trei — log-urile corespund intențiilor. Rămâne partea lentă: să merite pagina citită. Un fetcher care ajunge la tine e o precondiție, nu o strategie — recomandat te face tot un conținut pe care cineva l-ar cita.
Întrebări pe care nu ni le-a pus nimeni
Relatarea are o zi, e mijlocul lui august și nimeni nu ne-a sunat vreodată pentru un fetch bot. Astea sunt întrebările pe care ni le-am pune în locul clienților.
Deci mai are rost să-mi pese de robots.txt?
Da, pentru doi boți din patru: ține GPTBot departe de antrenare și OAI-SearchBot departe de căutarea din ChatGPT — amândoi documentați ca ascultători. Ce nu poate face e să garanteze ceva despre ChatGPT-User, nici la blocare, nici la acces.
Firma mea vrea să APARĂ în ChatGPT, nu să-l blocheze. Ce fac întâi?
Verifici că poți fi citit, înainte să produci ceva de citat. Pe site-ul nostru — cu robots.txt perfect primitor — 95% din cererile ChatGPT-User erau blocate de firewall. O oră în log-uri îți spune dacă ești în aceeași situație; abia apoi are sens munca de conținut.
Cum aflu dacă hostingul meu blochează boții AI?
Din log-uri, cu codul de răspuns lângă user agent: un 403 emis de origine e de la server, nu de la CDN. Pe hostingurile administrate, vinovatul tipic e softul de securitate — la noi, Imunify360 — care tratează fetcher-ele AI ca pe niște scanere ostile. Se rezolvă printr-o intervenție la hosting, nu de unul singur; la noi, după zece zile, zidul încă stă.
Blocarea GPTBot mă scoate din răspunsurile ChatGPT?
Nu de una singură. GPTBot privește antrenarea; vizibilitatea în căutarea ChatGPT trece prin OAI-SearchBot. OpenAI scrie că site-urile care exclud OAI-SearchBot dispar din răspunsurile de căutare, „deși pot apărea în continuare ca linkuri de navigare".
Văd vizitele ChatGPT-User în Google Analytics?
De regulă nu: Analytics are nevoie de JavaScript executat într-un browser, iar un fetcher care îți ia HTML-ul nu e obligat să-l ruleze. Locul de încredere sunt log-urile CDN-ului sau ale serverului — de-asta aproape niciun proprietar de site n-a văzut vreodată traficul ăsta.
Cât durează până OpenAI vede o modificare în robots.txt?
Documentația spune aproximativ 24 de ore. Deci: schimbi fișierul azi, verifici mâine, în log-uri — nu peste cinci minute, în asistent.
Dacă vreau totuși să țin ChatGPT afară de tot?
Atunci fă-o unde funcționează: reguli de firewall pe listele publice de IP-uri OpenAI — chatgpt-user.json pentru fetcher — nu o rugăminte într-un fișier text. Și știi la ce renunți: un asistent care nu te poate citi n-o să te citeze niciodată.
Impostorii chiar contează sau e o pedanterie?
Pe site-ul nostru, un sfert din cererile cu semnătura ChatGPT-User pică verificarea de boți a Cloudflare — 165 din 645, într-o singură fereastră de 23 de ore. Orice statistică numărată doar pe etichetă, fără verificare pe IP, cară marja asta de eroare cu ea.
Regula de 24 de ore schimbă ceva practic?
O singură dată, și apoi niciodată: în ziua în care modifici fișierul, nu testa după cinci minute ca să conchizi că nu s-a întâmplat nimic. Verifică a doua zi, în log-uri.
Ce ați măsura lunar, într-o jumătate de oră?
Trei rânduri din propriile log-uri: cereri pe agent AI, cota blocată pe fiecare strat, și — manual — de câte ori apare numele firmei când pui asistenților zece întrebări fixe despre piața ta. Partea manuală e plicticoasă, și exact de-aia aproape nimeni n-are datele. Mai discutăm despre asta peste 3–6 luni 😉
Ultima actualizare: 15 august 2026. Documentația crawlerelor OpenAI, recitită integral la această dată, descrie patru boți și afirmă că pentru citirile inițiate de utilizator prin ChatGPT-User „regulile robots.txt pot să nu se aplice". Cifrele proprii vin din API-ul GraphQL Cloudflare pentru zona cittago.com, ferestre de 23 de ore datate 5, 6 și 15 august 2026, numărate pe șirul de user-agent. Cifrele europene sunt din raportul „State of the Bots" H1 2026 al TollBit, așa cum a fost relatat de Search Engine Journal pe 14 august. Actualizăm pagina când se schimbă oricare dintre ele.
