Fiecare companie AI are mai mulți roboți, cu roluri diferite: unii caută pentru răspunsuri, alții adună date pentru antrenarea modelelor, alții deschid o pagină doar când un om o cere. Dacă îi amesteci în robots.txt, poți dispărea din răspunsurile AI fără să-ți dai seama.
Cei trei tipuri de roboți AI
Documentația oficială a OpenAI, Anthropic și Perplexity împarte roboții în trei roluri:
- Roboți de căutare: citesc site-urile ca să le poată cita în răspunsuri. Dacă îi blochezi, nu mai apari în căutarea din acel AI.
- Roboți de antrenare: adună conținut care poate fi folosit la antrenarea modelelor viitoare. Blocarea lor nu te scoate din căutare.
- Agenți la cererea utilizatorului: deschid o pagină doar când un om îi cere asistentului s-o citească.
Tabelul roboților, pe companii
Numele exacte, așa cum se scriu în robots.txt:
| Robot | Companie | Rol | Dacă îl blochezi |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Căutare în ChatGPT | Nu mai apari în răspunsurile de căutare ChatGPT |
| ChatGPT-User | OpenAI | La cererea utilizatorului | ChatGPT nu-ți poate deschide pagina când i se cere |
| GPTBot | OpenAI | Antrenare | Conținutul nu e folosit la antrenare; căutarea nu e afectată |
| Claude-SearchBot | Anthropic | Căutare în Claude | Vizibilitate mai mică în căutarea Claude |
| Claude-User | Anthropic | La cererea utilizatorului | Claude nu-ți poate citi pagina la cerere |
| ClaudeBot | Anthropic | Antrenare | Conținutul viitor e exclus din antrenare |
| PerplexityBot | Perplexity | Căutare în Perplexity | Nu mai apari în rezultatele Perplexity |
| Perplexity-User | Perplexity | La cererea utilizatorului | În general ignoră robots.txt, fiind cerut de un om |
| Google-Extended | Antrenare și grounding Gemini | Nu afectează Căutarea Google și nici AI Overviews |
OpenAI precizează că setările pentru OAI-SearchBot și GPTBot sunt independente și că o schimbare în robots.txt se reflectă în căutarea ChatGPT în aproximativ 24 de ore.
Ce recomandăm pentru o afacere
Pentru o firmă care vrea clienți, nu există niciun motiv să blochezi roboții de căutare sau agenții utilizatorilor: ei aduc vizibilitate și trafic. Roboții de antrenare sunt o alegere de principiu. Blocarea lor protejează conținutul de folosirea la antrenare, dar nu te ajută să apari mai des; lăsarea lor nu te dezavantajează.
O configurație care permite tot ce contează pentru vizibilitate și păstrează zonele private închise arată așa:
User-agent: *
Allow: /
Disallow: /admin/
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Sitemap: https://domeniu.ro/sitemap.xmlGreșeala pe care am găsit-o chiar la noi
Un robot ascultă doar de grupul din robots.txt care îi poartă numele. Dacă există un grup „User-agent: GPTBot” cu doar „Allow: /”, regulile scrise pentru toți ceilalți („User-agent: *”) nu i se mai aplică. Pe site-ul nostru, zona tehnică /api/ era închisă pentru toată lumea, dar rămăsese deschisă pentru roboții AI numiți separat.
Soluția: fiecare grup numit trebuie să repete regulile Disallow de care ai nevoie. Standardul robots.txt permite mai multe linii User-agent în același grup, deci poți pune toți roboții AI împreună, cu regulile o singură dată, cum e în exemplul de mai sus.
Când robots.txt nu e suficient
robots.txt e o cerere, nu un zid. Pe de altă parte, un site poate bloca roboții AI fără să știe: protecțiile anti-bot de la găzduire sau de la Cloudflare pot respinge crawlerele chiar dacă robots.txt le permite accesul. Perplexity și OpenAI își publică adresele IP tocmai ca să poată fi lăsate să treacă prin firewall.
Verificarea corectă se face în jurnalele serverului: cauți cererile de la OAI-SearchBot, Claude-SearchBot și PerplexityBot și te uiți dacă primesc răspunsul 200 sau sunt blocate.
Întrebări frecvente
Trebuie să permit GPTBot ca să apar în ChatGPT?
Nu. Pentru căutarea din ChatGPT contează OAI-SearchBot. GPTBot adună date pentru antrenare, iar OpenAI spune că cele două setări sunt independente.
Dacă blochez Google-Extended, dispar din AI Overviews?
Nu. Google-Extended controlează doar folosirea conținutului pentru Gemini. Pentru AI Overviews și AI Mode există controlul Search generative AI din Search Console.
În cât timp se aplică o schimbare în robots.txt?
Pentru căutarea ChatGPT, OpenAI indică aproximativ 24 de ore. Ceilalți roboți recitesc fișierul periodic, de obicei în câteva ore sau zile.
Pot bloca toți roboții AI dintr-o dată?
Poți, dar pentru o afacere e o greșeală: dispari din răspunsurile ChatGPT, Claude și Perplexity. Dacă nu vrei ca site-ul să fie folosit la antrenare, blochează doar GPTBot, ClaudeBot și Google-Extended.
De ce apare robotul în jurnale deși l-am blocat?
Agenții care acționează la cererea unui om, precum Perplexity-User, pot ignora robots.txt. Iar oricine poate falsifica numele unui robot, de aceea companiile își publică adresele IP pentru verificare.
Serviciul de optimizare GEO · llms.txt: ce face de fapt · Verifică-ți gratuit accesul pentru AI
Surse și verificare
Documentație consultată la 24 septembrie 2026. Recomandările de implementare reprezintă abordarea editorială Trifu Media; disponibilitatea funcțiilor se verifică în contul și platforma folosite.
Continuă cu un subiect apropiat
- Cum apari în ChatGPT: ce contează pentru o firmă din România
- Cum măsori vizibilitatea în AI: întrebări, repetări și share of voice
