Annak szabályozása, hogy a ChatGPT megtalálhatja-e és idézheti-e a tartalmadat, három külön mechanizmust foglal magában: a robots.txt-t, a meta címkéket és a HTTP-fejléceket. A legtöbben egyet ismernek. Mind a három megértése lehetővé teszi, hogy tudatosan válassz láthatósági stratégiát.
Ez nem csak a tiltásról vagy engedélyezésről szól. A szándékosságról szól. A különböző direktívák különböző eredményt érnek el. A rossz kombináció visszaüthet.
A három vezérlési réteg
Három módod van arra, hogy közöld a ChatGPT robotjaival, mit tehetnek a tartalmaddal.
1. réteg: robots.txt
A domained gyökerében lévő fájl megmondja a robotoknak, mihez férhetnek hozzá, és mihez nem az egész oldaladon vagy bizonyos szakaszokon. A felfedezést és a bejárást szabályozza.
2. réteg: meta robots címkék
Ezek az egyes oldalakon lévő HTML meta címkék megmondják a robotoknak, mit tegyenek, miután megtalálták és elolvasták az oldalt. Az adott oldal indexelését és felhasználását szabályozzák.
3. réteg: X-Robots-Tag HTTP-fejlécek
A szervered HTTP-válaszában lévő fejléc ugyanazt a célt szolgálja, mint a meta robots címkék, de alkalmazható az egész oldalra vagy bizonyos tartalomtípusokra. Ez hasznos a nem HTML-tartalmaknál, például a PDF-eknél.
A legtöbben a robots.txt-re koncentrálnak, és megfeledkeznek a másik kettőről. Mind a három együtt működik.
1. réteg: a robots.txt és az OAI-SearchBot megértése
A robots.txt fájlod az OAI-SearchBottal (a ChatGPT keresési robotjával) kommunikál. A ChatGPT tiszteletben tartja a szabványos robots.txt direktívákat.
Hogyan engedélyezd az OAI-SearchBotnak a tartalmad elérését
User-agent: OAI-SearchBot
Allow: /
Ez az alapértelmezés. Az OAI-SearchBot bejárja az egész oldaladat, és a tartalmad láthatóvá válik a ChatGPT keresésben.
Hogyan tiltsd le teljesen az OAI-SearchBotot
User-agent: OAI-SearchBot
Disallow: /
Ez megakadályozza, hogy a ChatGPT keresés megtalálja a tartalmadat. Az oldalaid nem jelennek meg a ChatGPT válaszaiban.
Hogyan engedélyezd az OAI-SearchBotot, de szabályozd a bejárási sebességet
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
A Crawl-delay direktíva azt mondja a robotnak, hogy várjon 1 másodpercet a kérések között. Ez segít kezelni a szerverterhelést, ha a ChatGPT robotja túl gyakran terheli a szerveredet.
Hogyan tiltsd le bizonyos szakaszokat
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Ez letiltja az /admin/ és /private/ könyvtárak bejárását, miközben mindenhez máshoz engedélyezi a hozzáférést.
A kulcselv: a robots.txt a felfedezést és a bejárást szabályozza. Ha itt letiltasz egy robotot, az egyáltalán nem fér hozzá az oldalhoz, így nem is tudja elolvasni az oldalon lévő meta címkéket.
2. réteg: meta robots címkék: vezérlés a felfedezés után
Miután az OAI-SearchBot bejárta az oldalt (vagyis nem tiltotta le a robots.txt), a meta robots címkék megmondják neki, mit tegyen a tartalommal.
A meta robots címke felépítése
<meta name="robots" content="directive1, directive2">
Kulcsfontosságú direktívák AI-robotokhoz
noindex: ne indexeld ezt az oldalt, és ne vedd bele az összefoglalókba. A robot látja az oldalt, de nem használja.
nofollow: ne kövesd az oldalon lévő linkeket. A robot látja az oldalt, de nem járja be a benne lévő linkeket.
noai: ne használd ezt a tartalmat AI-modellek betanítására. Az oldal megjelenhet a keresési eredményekben, de az OpenAI nem használhatja nyelvi modellek betanítására.
noimageai: ne használd az oldalon lévő képeket képgeneráló modellek betanítására.
Példa
<meta name="robots" content="noindex">
Ez minden robotnak (Google, Bing, ChatGPT stb.) azt mondja, hogy ne indexelje ezt az oldalt. A ChatGPT nem fogja idézni, a Google nem mutatja, és a Bing nem veszi bele.
Kifejezetten az OAI-SearchBotra
<meta name="robots" content="noai">
Ez kifejezetten az OAI-SearchBotnak mondja, hogy ne használja a tartalmat betanításra. Az oldalt még idézhetik a ChatGPT keresési eredményeiben, de az OpenAI nem használhatja modellbetanításra.
Kritikus szabály: ne kombináld a robots.txt-t és a noindexet
Ez a legfontosabb technikai szabály. Soha ne tedd ezt:
User-agent: OAI-SearchBot
Disallow: /article/
És ezt se tedd ugyanakkor a cikkoldalra:
<meta name="robots" content="noindex">
Miért: ha a robots.txt-ben letiltod az OAI-SearchBotot az /article/ elérésétől, a robot soha nem tölti le az oldalt. Soha nem olvassa el a meta címkét. A noindex direktíva hatástalan, mert a robot sosem látja. Ráadásul, ha az oldalra külső oldalak linkelnek, egyes robotok mégis indexelhetik, mert a linkeken keresztül fedezték fel, annak ellenére, hogy a robots.txt-d nemet mondott.
A szabály: használd a robots.txt-t VAGY a meta címkéket, ne mindkettőt ugyanarra a direktívára.
Bevált gyakorlat: a robots.txt-vel szabályozd az egész oldal bejárását (egész szakaszok engedélyezése/tiltása). A meta címkéket használd oldalszintű vezérléshez (egyes oldalak, amelyekre különleges szabályok vonatkoznak).
3. réteg: X-Robots-Tag HTTP-fejlécek
Ha a robotok viselkedését nem HTML-tartalmaknál (PDF-ek, képek stb.) akarod szabályozni, vagy több oldalon akarsz szabályokat alkalmazni az egyes oldalak szerkesztése nélkül, használd az X-Robots-Tag HTTP-fejlécet.
Példa:
X-Robots-Tag: noindex, nofollow
Ezt a szerver szintjén alkalmazzák, és minden robotnak azt mondja, hogy ne indexelje és ne kövesse a linkeket minden olyan oldalon, amelyet ezzel a fejléccel szolgálnak ki.
Alkalmazhatod szelektíven:
X-Robots-Tag: OAI-SearchBot: noai
Ez csak az OAI-SearchBotnak mondja, hogy ne használja a tartalmadat betanításra, miközben engedi a keresésben.
Stratégiai döntések: mit akarsz valójában
A választásod a céltól függ.
1. cél: maximalizáld a ChatGPT-idézéseket
Engedélyezd a robots.txt-ben, ne legyen noindex meta címke. Hagyd, hogy az OAI-SearchBot megtaláljon és idézzen.
User-agent: OAI-SearchBot
Allow: /
Nincsenek korlátozó meta címkék.
2. cél: jelenj meg a ChatGPT keresésben, de akadályozd meg a modellbetanítást
Engedélyezd a robots.txt-ben, használd a noai meta címkét.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
3. cél: rejtőzz el a ChatGPT elől, de engedd a többi keresőmotort
Tiltsd le az OAI-SearchBotot, engedd a többit.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
4. cél: rejtőzz el minden AI-robot elől
Tiltsd le több robotot.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
A megfelelési probléma: nem minden AI-robot tartja tiszteletben ezeket a szabályokat
Íme a kellemetlen igazság: a különböző AI-robotok eltérő mértékben tartják be a szabályokat.
A tesztek szerint a ChatGPT tiszteletben tartja a robots.txt-t és egyes meta címkéket. A Perplexity mindkettőt következetesen. Más AI-rendszerek eltérően viselkednek. Egyes régebbi AI-lekaparók egyáltalán nem tartják tiszteletben a robots.txt-t.
Az OpenAI robotjait hatékonyan szabályozhatod. Nem tudsz teljesen szabályozni minden AI-rendszert, amely lekaparhatja a tartalmadat.
Hogyan segít a WEMASY a robotok hozzáférésének kezelésében
A WEMASY weboldalépítőjében van robots.txt-szerkesztő, amelyben nyers fájlok szerkesztése nélkül beállíthatod az OAI-SearchBot engedélyeit. Az SEO-beállítások panelen keresztül meta robots címkéket adhatsz az egyes oldalakhoz. Az építő előre beállítja a bevált gyakorlatot: engedélyezi az OAI-SearchBotot a keresési láthatóságért, miközben hozzáadhatsz noai-t, ha nem akarod a modellbetanítást. Figyeld a bejárási naplókat, hogy lásd, mely robotok férnek hozzá az oldaladhoz, és ennek megfelelően igazítsd az engedélyeket. Nézd meg a WEMASY robotkezelő eszközeit.
Gyakran ismételt kérdések
Ha letiltom az OAI-SearchBotot a robots.txt-ben, a tartalmam így is megjelenhet a ChatGPT-ben linkeken keresztül?
Nem valószínű. Az OAI-SearchBot a ChatGPT elsődleges keresési robotja. Ha le van tiltva, nincs jelenléted a ChatGPT keresésben. Ha azonban egy másik rendszer linkel a tartalmadra, egy másik robot letöltheti. Ez kiszámíthatatlan. A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon beállíthatod.
Mit csinál valójában a noai meta címke?
Megmondja az OpenAI-nak, hogy ne használja a tartalmadat nyelvi modelljei betanítására. A tartalmad továbbra is megjelenhet a ChatGPT keresési eredményeiben idézésekkel. Ez a címke nélkül az OpenAI felhasználhatja a tartalmadat a ChatGPT és más modellek betanítására.
Használjak noindexet, ha nem akarok megjelenni a ChatGPT-ben?
Igen, de értsd meg, mit csinál: a noindex minden robotnak (Google, Bing, ChatGPT stb.) azt mondja, hogy ne indexelje az oldalt. Használd, ha minden keresési eredményből el akarsz rejtőzni. Ha csak a ChatGPT elől akarsz elrejtőzni, de a Google-ben látható maradni, ne használj noindexet. Helyette tiltsd le az OAI-SearchBotot a robots.txt-ben.
Mennyi idő alatt lépnek életbe a robots.txt vagy a meta címkék módosításai?
A robots.txt módosításait általában 24 órán belül figyelembe veszik. A meta címke módosításait akkor veszik figyelembe, amikor a robot legközelebb újra felkeresi az oldalt. Azonnali teszteléshez használhatod az OpenAI robotteszt-eszközét vagy a Bing Webmaster Toolst.
Letilthatom az összes AI-robotot, miközben a Google-t engedem?
Igen. A robots.txt-ben tiltsd le a GPTBotot, az OAI-SearchBotot, a ChatGPT-Usert és más AI-robotokat, miközben a Googlebotot és a Bingbotot engeded. Ez azonban nem akadályozza meg, hogy olyan AI-rendszerek férjenek hozzá a tartalmadhoz, amelyek nem tartják tiszteletben a robots.txt-t.
Mi van, ha a robotom ellentmondó X-Robots-Tag-et és robots.txt-t lát?
Először a robots.txt-t értékelik. Ha a robots.txt letilt egy robotot, az nem tölti le az oldalt, így sosem látja az X-Robots-Tag-et. Ha a robots.txt engedélyezi, akkor az X-Robots-Tag direktívák érvényesek. Gondoskodj róla, hogy összhangban legyenek.