Röviden: az AI-cégek robotjai három csoportba esnek. A keresőrobotok (OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot, Googlebot) kellenek ahhoz, hogy idézett forrás lehess – ezeket egy vállalkozás szinte mindig engedje. A felhasználói ügynökök (ChatGPT-User, Perplexity-User, Claude-User) egy konkrét kérdéshez olvasnak be egy oldalt. A tanítórobotok (GPTBot, ClaudeBot, Google-Extended, CCBot) modelltanításhoz gyűjtenek; ezek tiltása üzleti döntés, és nem vesz ki a keresésből. A leggyakoribb hiba, hogy valaki „minden AI-t” letilt, és ezzel a ChatGPT és a Perplexity találataiból is kizárja magát.
Forrásállapot: 2026. szeptember 28. A cikk az OpenAI, a Perplexity, az Anthropic és a Google robotokról szóló hivatalos dokumentációjára épül.
Az AI-robotok egy táblázatban
| Robot (User-agent) | Cég | Szerep | Ha tiltod… |
|---|---|---|---|
| Googlebot | Keresés, AI Overviews, AI Mode | Kiesel a Google-ből is – soha ne tiltsd | |
| Google-Extended | Gemini-modellek tanítása és egyes grounding-felhasználások | A keresésben és az AI Mode-ban bent maradsz | |
| Bingbot | Microsoft | Bing, Copilot | Kiesel a Copilotból |
| OAI-SearchBot | OpenAI | ChatGPT keresés | Nem leszel idézett forrás a ChatGPT-ben |
| ChatGPT-User | OpenAI | Felhasználói kérésre oldal megnyitása | A robots.txt rá nem feltétlenül vonatkozik |
| GPTBot | OpenAI | Modelltanítás | A ChatGPT keresésben bent maradsz |
| PerplexityBot | Perplexity | Perplexity keresőindex | Kiesel a Perplexity találataiból |
| Perplexity-User | Perplexity | Felhasználói kérésre oldal beolvasása | A robots.txt-t általában nem veszi figyelembe |
| Claude-SearchBot | Anthropic | Claude keresési találatai | Kevésbé leszel látható a Claude válaszaiban |
| Claude-User | Anthropic | Felhasználói kérésre oldal beolvasása | Az Anthropic szerint betartja a tiltást |
| ClaudeBot | Anthropic | Modelltanítás | A jövőbeli tartalmad kimarad a tanításból |
| CCBot | Common Crawl | Nyílt webarchívum, amelyet sok AI-modell használ | Kimaradsz a nyílt adathalmazból |
Három gyakori tévhit
- „A Google-Extended tiltásával kilépek az AI Mode-ból.” Nem. Az AI Overviews és az AI Mode a Googlebot által feltérképezett tartalomból dolgozik; a Google-Extended a keresési megjelenést nem befolyásolja. Az AI-felületekből való kilépésre a Search Console új kapcsolója való, erről külön cikkünk szól.
- „A GPTBot tiltása kivesz a ChatGPT-ből.” Nem. A ChatGPT keresési megjelenést az OAI-SearchBot adja; a GPTBot csak a tanításhoz gyűjt.
- „A robots.txt titkos tartalmat véd.” Nem. A robots.txt kérés, nem zár. A felhasználói ügynökök egy része nem is veszi figyelembe. Amit nem akarsz nyilvánossá tenni, azt jelszóval védd.
Kész robots.txt-minta egy vállalkozás weboldalához
Ez a minta mindenkit enged a nyilvános oldalakra, az adminfelületet pedig mindenki elől elzárja. Aki a tanítórobotokat ki akarja zárni, a második blokkot is használja.
User-agent: *
Allow: /
Disallow: /admin/
# Opcionális: modelltanításhoz gyűjtő robotok kizárása.
# A keresési megjelenést (Google, ChatGPT, Perplexity, Copilot) nem érinti.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
Sitemap: https://sajatdomain.hu/sitemap.xml
Figyelj arra, hogy egy robot csak a rá legjobban illő User-agent blokkot követi. Ha egy robotnak külön blokkot írsz, az admin tiltását abban is ismételd meg.
A robots.txt kevés: a tűzfal is dönt
Sok tárhely és CDN (például a Cloudflare egyes beállításai) alapból blokkolja az AI-robotokat, függetlenül a robots.txt-től. Ilyenkor a robots.txt hiába enged: a robot 403-as hibát kap. Nézd meg a szervernaplóban, milyen válaszkódot kapnak az OAI-SearchBot, a PerplexityBot és a Claude-SearchBot kérései. A hamisított robotokat a cégek által közzétett IP-tartományokkal szűrheted ki (az OpenAI, a Perplexity és az Anthropic is közzéteszi a sajátját).
Mit javaslunk?
Egy szolgáltató vállalkozásnak a láthatóság a cél, ezért a keresőrobotokat és a felhasználói ügynököket mindig engedje. A tanítórobotok tiltása akkor indokolt, ha a tartalom maga a termék (fizetős tudásanyag, egyedi adatbázis, sajtó). Egy fodrász, egy könyvelő vagy egy webfejlesztő weboldalán a tanítás engedése jellemzően nem okoz kárt, a keresőrobotok tiltása viszont ügyfelekbe kerülhet. A saww.hu mindkét csoportot engedi.
Gyakori kérdések
Honnan tudom, hogy a tárhelyem blokkolja-e az AI-robotokat?
A szervernaplóban (access log) keress rá a robotok nevére. Ha a kéréseik 403-as vagy 429-es választ kapnak, a tárhely tűzfala vagy botvédelme blokkolja őket, ezt a tárhelyszolgáltatónál vagy a CDN-ben lehet engedélyezni.
Mennyi idő, mire a módosítás érvényesül?
Az OpenAI és a Perplexity szerint kb. 24 óra. A Google a robots.txt-t általában egy napig gyorsítótárazza.
Kell külön sor minden új AI-robotnak?
Ha a User-agent: * blokk mindent enged, az új robotok is engedélyt kapnak. Külön sor csak akkor kell, ha valakit tiltani szeretnél.
A beállítás után azt is érdemes mérni, hogy jön-e látogató az AI-keresőkből: ehhez az AI-forgalom méréséről szóló cikkünk ad lépéseket, a teljes képet pedig a 30 pontos SEO-audit adja.
Szeretnéd, hogy az AI-keresők a te vállalkozásodat ajánlják? A GEO-optimalizálás szolgáltatásunkban átnézzük, mit látnak rólad a Google AI módja, a ChatGPT és a Perplexity, és idézhetővé tesszük a szolgáltatásoldalaidat.
