# ChatGPT și robots.txt: fișierul nu decide accesul AI

> OpenAI are 4 boți, iar cel care îți citește paginile pentru utilizatori poate ignora robots.txt. La noi, 95% din cererile lui mor în firewall. Ce decide.

Source: https://cittago.com/ro/blog/chatgpt-user-robots-txt-2026/  
Publisher: Cittago — a digital studio in Cluj-Napoca, est. 2011  
Published: 2026-08-15  
Language: ro

---

Fie că vrei să apari în răspunsurile AI, fie că vrei să ții asistenții departe de site, probabil te uiți în același loc greșit: un fișier text din 1994. OpenAI scrie negru pe alb că botul care îți citește paginile pentru utilizatori poate să nu-l ia în seamă. Iar noi am măsurat și reversul: fișierul nostru permite tot, firewall-ul blochează 95%.

**Ce s-a întâmplat.** Presa de specialitate a scos în față, pe 14 august, o frază care stă de mult în documentația OpenAI: ChatGPT-User — botul care îți deschide pagina în timp real când un utilizator întreabă de domeniul tău — nu se consideră legat de robots.txt, pentru că acțiunea pornește de la un om.

**Cine poate închide pagina.** Dacă nu te interesează nici să te citească, nici să te recomande asistenții AI, n-ai nimic de făcut azi. Firewall-ul tău decide oricum în locul tău — probabil mai dur decât crezi.

**De ce merită un sfert de oră.** Pentru că fișierul pe care îl editează toată lumea nu e stratul care hotărăște. Pe site-ul nostru am măsurat ambele sensuri: robots.txt deschis pe nume pentru fiecare bot OpenAI, și 95% din cererile ChatGPT-User blocate oricum, de două ziduri pe care a trebuit să le descoperim singuri.

- Cei patru boți OpenAI într-un tabel: pe care îi ține fișierul și pe care nu.
- Fraza exactă din documentație, citată și tradusă.
- Cazul nostru, cu trei măsurători datate și grupul de control Googlebot.
- Lista scurtă cu care verifici singur, într-o oră, ce face site-ul tău cu boții AI.

Pe pagina asta

1. [Cei patru boți OpenAI, în tabel](#patru-boti)
2. [Ce este ChatGPT-User](#ce-este)
3. [Fraza pe care OpenAI a scris-o în documentație](#fraza)
4. [Cazul nostru: fișier deschis, firewall închis](#cazul-nostru)
5. [Ce arată log-urile din Europa](#europa)
6. [Cum verifici singur, într-o oră](#verifici)
7. [Înainte și acum: unde se decide accesul](#inainte-acum)
8. [Ce nu spune articolul ăsta](#nu-spune)
9. [Unde te afli, în trei praguri](#praguri)
10. [Întrebări pe care nu ni le-a pus nimeni](#intrebari)

Există două tabere care editează același fișier din motive opuse. Una vrea afară din AI: nu vrea conținutul folosit la antrenare, nu vrea boți pe server. Cealaltă — cea din care fac parte mai toate firmele mici care ne scriu — vrea înăuntru: vrea ca ChatGPT să-i poată citi pagina de servicii când cineva întreabă de o firmă din orașul lor. Vestea proastă e comună: **pentru botul care contează, fișierul nu garantează nici blocarea, nici accesul.** Prima jumătate e scrisă în documentația OpenAI. A doua e măsurată pe site-ul nostru, cu cifre de azi.

## Cei patru boți OpenAI, în tabel

Aproape orice discuție despre „blocat ChatGPT" amestecă patru agenți diferiți, care răspund la pârghii diferite. Documentația OpenAI, recitită integral pe 15 august 2026, îi descrie așa:

Fiecare din cei patru are o listă publică de adrese IP — gptbot.json, searchbot.json, adsbot.json, chatgpt-user.json pe openai.com. Contează mai mult decât pare: șirul de user-agent e o etichetă pe care o poate purta oricine, iar listele de IP-uri sunt singurul mod de a despărți traficul real OpenAI de impostorii îmbrăcați în numele lui. O să-i întâlnim la cifrele noastre.

*Plăcuța cu numele nu-ți spune cine e înăuntru. La fel și user-agentul: eticheta se citește, verificarea se face pe IP.*

## Ce este ChatGPT-User

ChatGPT-User e user agentul pe care OpenAI îl trimite când o conversație din ChatGPT are nevoie să deschidă o pagină web în timp real: omul întreabă, asistentul îți citește pagina ca să răspundă, iar serverul tău vede o cerere semnată ChatGPT-User/1.0. Nu e un crawler care umblă pe web după programul lui — OpenAI scrie că „nu e folosit pentru parcurgerea automată a webului".

Propoziția asta de definiție duce în spate tot articolul: o citire declanșată de întrebarea unui om este, în interpretarea OpenAI, vizita omului, nu a botului — iar robots.txt a fost scris pentru boți.

## Fraza pe care OpenAI a scris-o în documentație

Pasajul, citat din documentația în engleză:

> ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply.

În traducere: „ChatGPT-User nu e folosit pentru parcurgerea automată a webului. Pentru că aceste acțiuni sunt inițiate de un utilizator, regulile robots.txt pot să nu se aplice." Nu e formulată ca un anunț — e descrierea stabilă a felului în care funcționează sistemul, pe care raportul TollBit și presa de specialitate au făcut-o imposibil de ocolit. Și nu e nici mărturisirea unei încălcări: robots.txt e o convenție voluntară din 1994, iar OpenAI spune deschis că, pentru citirile cerute de utilizatori, nu consideră convenția obligatorie. Consecința practică e aceeași indiferent cum judeci raționamentul: **un Disallow pe ChatGPT-User e o rugăminte, iar documentația te anunță că rugămintea poate fi refuzată.**

Tot de pe pagina aia, două detalii pe care nu le citează aproape nimeni. Unu: nici pentru boții care ascultă de fișier schimbarea nu e instantanee — OpenAI scrie că sistemele ei pot avea nevoie de „aproximativ 24 de ore" ca să preia un robots.txt modificat. Doi: dacă permiți și GPTBot și OAI-SearchBot, OpenAI poate folosi „rezultatele unui singur crawl pentru ambele scopuri" — o vizită, două întrebuințări, bine de știut când ți se par mici cifrele din log.

## Cazul nostru: fișier deschis, firewall închis

robots.txt-ul de pe cittago.com e cât de primitor permite formatul: începe cu un comentariu care spune explicit că motoarele și asistenții AI sunt bineveniți, apoi dă Allow: / pe nume lui GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot și altora. Dacă fișierul ar decide accesul, fiecare cerere OpenAI ar primi pagina.

Iată ce se întâmplă de fapt, măsurat pe zona noastră Cloudflare în trei ferestre de 23 de ore. Numărătoarea e pe șirul de user-agent; „blocată" înseamnă 403 de la unul din cele două straturi: firewall-ul Cloudflare la margine sau stratul de securitate al hostingului (Imunify360) pe serverul de origine.

Cronologia e partea care se ține minte. Pe 5 august am auditat zona și am găsit primul zid: o regulă Cloudflare care bloca niște continente întregi, scrisă cu ani în urmă împotriva spamului, și care nimerea din plin infrastructura — concentrată în Singapore — de pe care pleacă fetcher-ele AI. Am deschis stratul ăla în aceeași zi, cu o regulă care scutește doar cererile pe care Cloudflare le verifică drept boți autentici. Al doilea zid a rămas: stratul de securitate de la origine, pe care îl poate ridica doar hostingul — și încă nu s-a întâmplat. Azi, la zece zile după ce am deschis prima poartă, 450 din 645 de cereri cu semnătura ChatGPT-User mor de zidul ăla.

*Două straturi care păzesc aceeași intrare. Cine trece de primul n-are nicio garanție pentru al doilea — la noi, al doilea blochează mai mult decât primul.*

Trei note de citire cinstită. Cele 165 de cereri oprite în continuare la Cloudflare sunt trafic care pică verificarea de boți — în mare parte impostori care poartă șirul ChatGPT-User, adică un sfert din total. Iar grupul de control ține experimentul onest: în aceeași fereastră, Googlebot a făcut 56 de cereri și bingbot 41, și **niciuna n-a fost blocată de vreun strat**. Claude-User, prin contrast: 21 de cereri, 21 servite. Zidurile sunt selective — exact de-asta nu le poți ghici din afară. Și socoteala: un răspuns în afara celor trei coloane — un 404, de pildă — face ca un rând să nu dea fix totalul; rândul din 5–6 august explică așa 237 din 238.

Sensul invers merită spus apăsat: TollBit măsoară site-uri care au zis *nu* și au fost citite oricum. Noi măsurăm un site care a zis *da* și a fost blocat oricum. Cititul evenimentelor de firewall lângă robots.txt e prima verificare pe care o facem în serviciul nostru de [SEO pentru căutarea AI](https://cittago.com/ro/services/seo-ai-search/): fișierul înregistrează intenția, log-ul înregistrează adevărul — și încă n-am auditat un site unde cele două să coincidă de la prima citire.

Descoperirea inițială, strat cu strat, e scrisă în [auditul firewall-ului care ne bloca 79% din crawlerele AI](https://cittago.com/ro/blog/ai-crawlers-blocked-firewall-2026/); cu aceeași metodă de numărare am verificat și [dacă citește cineva llms.txt](https://cittago.com/ro/blog/llms-txt-cats-txt-2026/).

## Ce arată log-urile din Europa

Raportul „State of the Bots" al TollBit dă tabloul de piață. După cifrele așa cum le-a relatat Search Engine Journal pe 14 august 2026 — am citit relatarea SEJ, nu raportul-sursă — pe site-urile europene din raport, în prima jumătate a lui 2026, **cam 15% din fetcher-ele AI identificate au ajuns pe URL-uri marcate Disallow** în robots.txt. Pentru trei agenți anume — ChatGPT-User, Bytespider (ByteDance) și Youbot (You.com) — citirile au atins pagini interzise pe **aproape jumătate din site-urile europene care îi listau explicit**.

Același raport are și un număr mai tăcut: Europa abia folosește fișierul pentru agenții noi. Doar **9%** din site-urile europene pun Disallow pe Claude-User, față de 26% în America de Nord; la Perplexity-User raportul e 13% la 26%. Oricum ai citi diferența — mai puțină îngrijorare, mai puțină informare sau pur și simplu mai puțin timp pierdut pe un fișier care nu e pârghia reală — dezbaterea despre robots.txt se poartă în mare parte pe alt continent.

## Cum verifici singur, într-o oră

Nu-ți trebuie un abonament nou — o oră și accese pe care le ai deja.

- **Log-urile CDN-ului sau ale serverului**, filtrate pe user agent, cu codul de răspuns lângă fiecare cerere. Pe planul gratuit Cloudflare fereastra e de 24 de ore — destul pentru o fotografie, dacă o faci intenționat.
- **Lista agenților care te interesează.** Cei patru OpenAI, plus Claude-User, PerplexityBot și Googlebot ca grup de control.
- **O privire la ambele straturi.** Un 403 la margine care n-a ajuns la server e opera CDN-ului; un 403 emis de origine e serverul sau softul lui de securitate. Se repară din panouri diferite.
- **Listele publice de IP-uri OpenAI**, dacă vrei să desparți fetcher-ele reale de impostori înainte să tragi concluzii.

*Un lacăt pus cu ani în urmă, de altcineva, dintr-un motiv pe care nu-l mai știe nimeni. Cam așa arată majoritatea blocajelor pe care le găsim la audit.*

## Înainte și acum: unde se decide accesul

## Ce nu spune articolul ăsta

- **Nu spune că OpenAI ignoră robots.txt în general.** GPTBot și OAI-SearchBot sunt documentați ca respectând fișierul, iar datele noastre nu dovedesc nimic în sens contrar pe punctul ăsta.
- **Nu spune că site-ul tău arată ca al nostru.** Un site mic, o zonă, două ziduri concrete. Ale tale vor fi altele — ideea e că ziduri ai, și nu le-ai citit.
- **Numărătorile noastre sunt pe șirul de user-agent.** O parte din cele 645 de cereri erau sigur false; cele 165 oprite la margine, în mare parte da. Cele 450 de blocări de la origine lovesc la fel traficul real și pe cel fals — exact asta e problema.
- **Cifrele europene sunt ale TollBit, citite prin relatarea SEJ.** Raportul-sursă nu l-am auditat, și cităm numerele cu lanțul ăsta la vedere.

## Unde te afli, în trei praguri

**Pragul unu — nu te-ai uitat niciodată.** Ai un robots.txt configurat cândva de cineva și nicio idee ce face firewall-ul cu fetcher-ele AI. O oră în log-urile CDN-ului te mută la pragul doi. Mai toate site-urile pe care le-am verificat blocau trafic pe care credeau că l-au invitat.

**Pragul doi — te-ai uitat și ai găsit ziduri.** De aici e instalatorie: afli care strat blochează, decizi pe fiecare agent ce vrei de fapt, scrii reguli care verifică boții în loc să creadă etichetele. Socotește zile, nu minute — la noi, zidul al doilea stă în picioare și după zece zile.

**Pragul trei — log-urile corespund intențiilor.** Rămâne partea lentă: să merite pagina citită. Un fetcher care ajunge la tine e o precondiție, nu o strategie — recomandat te face tot un conținut pe care cineva l-ar cita.

## Întrebări pe care nu ni le-a pus nimeni

Relatarea are o zi, e mijlocul lui august și nimeni nu ne-a sunat vreodată pentru un fetch bot. Astea sunt întrebările pe care ni le-am pune în locul clienților.

Ultima actualizare: 15 august 2026. Documentația crawlerelor OpenAI, recitită integral la această dată, descrie patru boți și afirmă că pentru citirile inițiate de utilizator prin ChatGPT-User „regulile robots.txt pot să nu se aplice". Cifrele proprii vin din API-ul GraphQL Cloudflare pentru zona cittago.com, ferestre de 23 de ore datate 5, 6 și 15 august 2026, numărate pe șirul de user-agent. Cifrele europene sunt din raportul „State of the Bots" H1 2026 al TollBit, așa cum a fost relatat de Search Engine Journal pe 14 august. Actualizăm pagina când se schimbă oricare dintre ele.

| User agent | Ce face | Îl leagă robots.txt? |
| --- | --- | --- |
| GPTBot | Adună conținut care poate intra în antrenarea modelelor OpenAI | Da — Disallow înseamnă că nu vrei conținutul folosit la antrenare |
| OAI-SearchBot | Indexează site-ul pentru rezultatele de căutare din ChatGPT | Da — cine îl exclude dispare din răspunsurile de căutare, „deși poate apărea în continuare ca link de navigare" |
| OAI-AdsBot | Vizitează paginile trimise ca reclame în ChatGPT, ca să le valideze | Documentația nu invocă robots.txt aici — vizitează doar pagini pe care tu le-ai trimis ca reclame |
| ChatGPT-User | Deschide pagina pe loc, când întrebarea unui utilizator o cere | **„Regulile robots.txt pot să nu se aplice"** — formularea OpenAI |

| Fereastra (23h) | Cereri ChatGPT-User | Blocate de Cloudflare | Blocate la origine | Au primit conținut | Blocate |
| --- | --- | --- | --- | --- | --- |
| 5 august 2026 — înainte să știm | 191 | 157 | 18 | 16 | **92%** |
| 5–6 august — ziua fixului nostru din Cloudflare | 238 | 81 | 126 | 30 | **87%** |
| 14–15 august 2026 — acum | 645 | 165 | 450 | 30 | **95%** |

|   | Era robots.txt | August 2026 |
| --- | --- | --- |
| Cine îți citește paginile | Crawlere, după programul lor | Crawlere, plus fetchere pe loc, mișcate de întrebarea unui om |
| Unde îți exprimi preferința | robots.txt, un fișier, public | robots.txt pentru crawlere; reguli WAF și firewall de origine pentru tot |
| Cine o pune în practică | Botul, de bunăvoie | CDN-ul și serverul tău, fără să întrebe — inclusiv împotriva traficului pe care îl voiai |
| Cum verifici | Practic nu puteai | Log de evenimente firewall, pe user agent, pe cod de răspuns |

## Întrebări și răspunsuri

**Respectă ChatGPT robots.txt?**

Parțial. Documentația OpenAI confirmă că GPTBot (antrenare) și OAI-SearchBot (căutare) îl respectă; OAI-AdsBot vizitează doar pagini pe care tu le-ai trimis ca reclame. ChatGPT-User — fetcher-ul care deschide pagini în timp real la întrebarea unui utilizator — are o exceptare scrisă: „regulile robots.txt pot să nu se aplice”. O blocare fermă se face din firewall, pe listele publice de IP-uri OpenAI.

**Ce este user agentul ChatGPT-User?**

E agentul pe care OpenAI îl trimite când o conversație ChatGPT trebuie să citească o pagină web pe loc, ca să răspundă la întrebarea unui om. OpenAI declară că nu e folosit pentru parcurgerea automată a webului — acționează la cerere, motiv pentru care OpenAI îl tratează diferit de crawlerele ei.

**Vreau să apar în răspunsurile ChatGPT. Care e primul pas?**

Verifică dacă poți fi citit. Pe site-ul nostru, cu robots.txt complet permisiv, 95% din cererile ChatGPT-User dintr-o fereastră de 23 de ore (15 august 2026) erau blocate de firewall — o regulă pe continente în Cloudflare și softul de securitate al hostingului. Fișierul spune intenția; doar log-urile spun ce se întâmplă.

**Cum văd dacă hostingul îmi blochează boții AI?**

În log-urile serverului sau ale CDN-ului, cu codul de răspuns lângă user agent: un 403 emis de origine vine de la server sau de la softul lui de securitate, nu de la CDN. La noi, stratul de la hosting (Imunify360) blochează azi 450 din 645 de cereri ChatGPT-User în 23 de ore.

**Blocarea GPTBot mă scoate din răspunsurile ChatGPT?**

Nu de una singură. GPTBot guvernează folosirea la antrenare; vizibilitatea în căutarea ChatGPT trece prin OAI-SearchBot. Site-urile care îl exclud pe al doilea dispar din răspunsurile de căutare, deși pot apărea în continuare ca linkuri de navigare, scrie OpenAI.

**Apar vizitele ChatGPT-User în Google Analytics?**

De regulă nu. Analytics depinde de JavaScript executat în browser, iar un fetcher care descarcă HTML-ul nu îl rulează neapărat. Locul de încredere sunt log-urile CDN-ului sau ale serverului, cu codurile de răspuns.

**Cât durează până OpenAI preia o modificare din robots.txt?**

Documentația OpenAI indică aproximativ 24 de ore până când sistemele ei se adaptează la un robots.txt actualizat. Verificarea corectă se face a doua zi, în log-uri, nu la câteva minute, în asistent.

**Cum blochez ChatGPT-User dacă chiar vreau?**

Cu reguli de firewall pe listele de IP-uri publicate de OpenAI — chatgpt-user.json pentru fetcher — sau provocând la CDN traficul de boți neverificat. Blocarea doar pe șirul de user-agent oprește impostorii cinstiți și cam atât.

**Câți impostori se dau drept ChatGPT-User?**

Pe site-ul nostru, cam un sfert: 165 din 645 de cereri cu semnătura ChatGPT-User au picat verificarea de boți a Cloudflare într-o fereastră de 23 de ore. Orice statistică numărată doar pe user-agent, fără verificare pe IP, trebuie citită cu marja asta.

**E suficient să fiu citibil ca să fiu recomandat de ChatGPT?**

E biletul de intrare, nu premiul. Un fetcher care primește 403 nu te va cita niciodată, deci accesul se repară primul. După aceea, recomandările le mișcă un conținut care răspunde la întrebarea literală, cu cifre și surse pe care o mașină le poate prelua curat.

---

Cittago · https://cittago.com · digital marketing, SEO, AI search, Google Ads and web development for small and medium companies in Romania, Italy and the EU.