A robots.txt egy szöveges fájl a weboldalad gyökérkönyvtárában. Megmondja a crawlereknek, mely oldalakat érhetik el, és melyek tiltottak. A hagyományos keresőknek a robots.txt opcionális. Az AI-crawlereknél ez az elsődleges eszköz annak szabályozására, hogy a tartalmadat indexelik-e vagy blokkolják.
A különbség számít. A Google tiszteletben tartja a robots.txt-et, de akkor is bejárja a blokkolt oldalakat, ha más oldalak linkelnek rájuk. Az AI-crawlerek szigorúbban követik a robots.txt-et. Ha a GPTBotot blokkolod a robots.txt-ben, a ChatGPT nem fog hivatkozni a tartalmadra. Ha engeded, a tartalmad elérhető lesz az AI-hivatkozásokhoz. Ez a fejezet bemutatja, hogyan hívják az egyes nagy AI-crawlereket, hogyan blokkolhatsz konkrét botokat, és milyen stratégia illik a márkádhoz.
Hogyan működik a robots.txt az AI-crawlereknél
Amikor egy crawler meglátogatja az oldalad, a legelső dolga, hogy megnézi, van-e robots.txt fájl. Sorról sorra elolvassa, és keresi a rá vonatkozó szabályokat. Ha a robots.txt-ed azt mondja: "disallow: /", egyetlen crawler sem érhet el egyetlen oldalt sem. Ha azt mondja: "disallow: /admin/", a crawlerek mindent elérhetnek, kivéve az admin mappát.
Az AI-crawlerek következetesebben követik ezeket a szabályokat, mint a Googlebot. Ha a ClaudeBotot blokkolod a robots.txt-ben, a Claude nem indexeli a tartalmadat. Pont. A Googlebot még bejárhatja a blokkolt oldalakat, ha a tartalomra más oldalakról linkelnek, de az AI-crawlerek megállnak a robots.txt utasításánál.
A formátum egyszerű. Szabályokat írsz arról, mely user agentekre (crawlernevekre) vonatkoznak, majd felsorolod, mit érhetnek el és mit nem. A fájl egyszerű szöveg. Nincs jelölőnyelv. Nincs különleges formázás. Csak szabályok.
A nagy AI-crawlerek és user agent neveik
Minden crawlernek van user agent neve. Amikor meglátogatja az oldalad, ezen a néven azonosítja magát. Ezt a nevet használod a robots.txt fájlban, hogy az adott crawlerre külön szabályt hozz létre.
Ezeket a nagy AI-crawlereket érdemes ismerned:
GPTBot (OpenAI)
A GPTBot az OpenAI crawlere. A ChatGPT-hez indexel tartalmat. Amikor egy felhasználó bekapcsolja a webes keresést a ChatGPT-ben, a rendszer azokból az oldalakból dolgozik, amelyeket a GPTBot indexelt. A GPTBot agresszívan jár be oldalakat, de betartja a robots.txt szabályait.
A GPTBot engedélyezéséhez nem kell semmit tenned. Alapértelmezés szerint bejár. A blokkolásához add hozzá ezeket a sorokat a robots.txt-hez:
User-agent: GPTBot
Disallow: /
Ez a szabály azt mondja: "GPTBot, ezen az oldalon egyetlen oldalt sem érhetsz el." Ha csak bizonyos részeket akarsz blokkolni, lehetsz pontosabb. Blokkold az /admin/ mappát, de engedd a többit:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
A ClaudeBot az Anthropic crawlere. A Claude webes keresésének indexel tartalmat. A ClaudeBot agresszívebb, mint a GPTBot. Több kérést küld, és gyakrabban jár be oldalakat. Ha engedélyezed a ClaudeBotot, figyeld a szervered erőforrásait.
A ClaudeBot ezzel a user agent névvel azonosítja magát. Ugyanúgy használd a robots.txt-ben, mint a GPTBotnál:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
A PerplexityBot a Perplexity-nek járja a webet. Az egyik leggyakoribb crawler. Naponta többször frissíti a tartalmat, mert a Perplexity a frissességet részesíti előnyben. Ha blokkolod a PerplexityBotot, a tartalmad nem jelenik meg a Perplexity válaszaiban.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
A Google-nek két crawlere van. A Googlebot a hagyományos keresésre jár be. A Googlebot-Extended a Google AI-rendszereihez, például az AI Overviews-hoz és a Gemini-hez. Blokkolhatod a Googlebot-Extendedet, miközben a Googlebotot engeded.
User-agent: Googlebot-Extended
Disallow: /
Más crawlerek
Más keresőmotoroknak is vannak crawlereik, például a Microsoft keresőjének, valamint orosz és koreai kereséseknek. Az elv ugyanaz. Azonosítsd a user agent nevet, és hozz létre szabályt.
A stratégia: engedélyezd vagy blokkold?
A legtöbb márkának engedélyeznie kell az AI-crawlereknek a tartalmához való hozzáférést. Az AI-hivatkozások jó minőségű forgalmat hoznak. Azok a felhasználók, akik a ChatGPT-n vagy a Perplexity-n keresztül találják meg a tartalmadat, már eldöntötték, hogy a válaszod értékes. Rákattintanak, és magasabb arányban váltanak vásárlóvá, mint a hagyományos keresés látogatói.
Vannak kivételek. Ha védett információd, üzleti titkod vagy kizárólagosnak szánt tartalmad van, érdemes blokkolni az AI-crawlereket. Ha fizetős tartalmad van, blokkolhatsz bizonyos crawlereket, hogy az AI-összefoglalókon keresztül ne legyen ingyen elérhető. Ha kínos vagy elavult tartalmad van, blokkolhatod az AI-crawlereket, amíg frissíted.
De a legtöbb tartalomnál egyszerű a számítás. Az AI-láthatóság több lehetőséget teremt, mint kockázatot. Engedd a crawlereket. Kapj hivatkozásokat. Hozz forgalmat.
Egyes crawlerek blokkolása, másoké engedélyezése
Nem kell mindent vagy semmit választanod. Engedélyezhetsz néhány AI-crawlert, és blokkolhatsz másokat.
Engedd a Perplexity-t és a GPTBotot, de blokkold a ClaudeBotot, mert a ClaudeBot bejárási gyakorisága megterheli a szerveredet:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Az üres "Disallow:" azt jelenti, hogy nincs korlátozás. Az a crawler mindent elérhet.
Az AI-crawlereket konkrét szakaszoktól is eltilthatod. Engedd a GPTBotot mindenhol, kivéve az admin felületet:
User-agent: GPTBot
Disallow: /admin/
Engedd, hogy bejárja a blogodat, de a termékeidet ne:
User-agent: GPTBot
Disallow: /products/
A joker szabály és az alapértelmezett viselkedés
Létrehozhatsz szabályokat konkrét crawlerekre, és egy alapértelmezett szabályt mindenki másra. A csillag (*) a joker, amely minden olyan crawlerre vonatkozik, amelyet nem említettél külön.
Ez a szabály minden crawlert kizár a /private/ mappából, de mindent mást engedélyez:
User-agent: *
Disallow: /private/
Ez a szabály minden crawlernek megtiltja, hogy bármit elérjen:
User-agent: *
Disallow: /
A crawl-delay utasítás
Megmondhatod a crawlereknek, hogy lassítsanak. A Crawl-delay utasítás azt mondja a crawlernek, hogy a kérések között várjon bizonyos számú másodpercet. Ha a szervered nehezen bírja a ClaudeBot agresszív bejárását, megkérheted, hogy lassítson:
User-agent: ClaudeBot
Crawl-delay: 5
Ez azt jelenti, hogy a ClaudeBotnak minden kérés között 5 másodpercet kell várnia. Lassítja a bejárást, de csökkenti a szerver terhelését.
Hogyan kapcsolódik a robots.txt a sitemaphez
A robots.txt fájlod hivatkozhat a sitemapre. Add hozzá ezt a sort a robots.txt fájl végéhez:
Sitemap: https://yoursite.com/sitemap.xml
A crawlerek megnézik a robots.txt-et, és látják a sitemap hivatkozást. Tudják, hol találják a tartalomtérképedet. Ez gyorsítja a felfedezést. Nem változtatja meg, mit érhetnek el a crawlerek. Csak megmondja, hol keressenek.
A robots.txt tesztelése
A robots.txt fájlt az élesítés előtt tesztelheted. A Google Search Console tartalmaz robots.txt tesztelőt. Megadsz egy URL-t és egy user agent nevet, és megmondja, hogy az a crawler elérheti-e az oldalt a robots.txt szabályaid szerint.
A legtöbb tartalomplatform, a WEMASY-t is beleértve, automatikusan generál robots.txt fájlt. Nézd meg az oldalad beállításait. Ha szerkesztheted, adhatsz hozzá egyéni szabályokat. Ha nem, fordulj a tárhelyszolgáltatódhoz.
Gyakran ismételt kérdések
Ha minden AI-crawlert blokkolok, megjelenik az oldalam a Google-ben?
Igen. Az AI-crawlerek (GPTBot, ClaudeBot stb.) blokkolása nem befolyásolja a Google-helyezéseket. A Google a hagyományos kereséshez a Googlebotot, az AI-funkciókhoz a Googlebot-Extendedet használja. Ha csak az AI-crawlereket akarod blokkolni, de a Google hozzáférését megtartani, az AI-crawlerek nevét blokkold külön, a Googlebotot és a Googlebot-Extendedet pedig hagyd blokkolatlanul. A WEMASY weboldalépítőjével ezt közvetlenül beállíthatod a weboldaladon.
Blokkolhatom az AI-tanító crawlereket, de engedhetem az AI-kereső crawlereket?
A tanító és a kereső crawlerek közti határ elmosódott. A legtöbb nagy AI-cég ma már ugyanazokat a crawlereket használja mindkét célra. Ha egy AI-crawlert teljesen blokkolsz, a tanítási és a keresési hozzáférését is blokkolod. A robots.txt-vel nem tudsz külön csak a tanítást vagy csak a keresést blokkolni. A crawlert teljesen blokkolod, vagy engedélyezed.
Mi történik, ha nincs robots.txt fájlom?
Ha nincs robots.txt fájlod, a crawlerek úgy veszik, hogy mindent elérhetnek. Minden crawler (Google, GPTBot, ClaudeBot, mind) indexeli a teljes oldaladat. A legtöbb oldalnál ez a kívánt működés. Ha konkrét crawlereket vagy részeket akarsz blokkolni, szükséged van robots.txt fájlra.
Megkerülhetik az AI-crawlerek a robots.txt fájlomat?
Elméletileg igen, de nem teszik. Az AI-crawlerek szigorúbban tartják tiszteletben a robots.txt-et, mint a Googlebot. Ha azt mondod egy AI-crawlernek, hogy maradjon ki, kimarad. A crawlerek fejlesztői tudják, hogy a robots.txt semmibe vétele árt a kiadókkal való kapcsolatuknak. Betartják a szabályokat.
Milyen gyakran kell frissítenem a robots.txt fájlomat?
Csak akkor kell frissítened, ha változnak a blokkolási szabályaid. Ha új crawlert döntesz blokkolni, vagy megnyitsz egy korábban blokkolt részt, frissítsd. Egyébként, ha egyszer beállítottad, békén hagyhatod. A crawlerek minden látogatáskor megnézik, ezért a változások azonnal érvénybe lépnek.
Blokkoljam az AI-crawlereket a versenytárs-elemzésemtől vagy a privát kutatásomtól?
Igen. Ha vannak olyan oldalaid, amelyek védett kutatást, versenytárs-elemzést vagy nem nyilvánosnak szánt tartalmat tartalmaznak, blokkolj minden crawlert ezekről a részekről. Adj hozzá egy disallow szabályt arra a mappára vagy azokra az oldalakra. A crawlerek nem indexelik őket, az AI-rendszerek pedig nem férnek hozzájuk, hogy hivatkozhassanak rájuk.