Az oldalad SSL-tanúsítványa tökéletesen működik az emberi látogatóknak. De az olyan AI-crawlerek, mint a GPTBot, a ClaudeBot és a PerplexityBot, egyáltalán nem tudnak hozzáférni a tartalmadhoz.
A legtöbb GEO-stratégia a robots.txt-re és a tartalomoptimalizálásra összpontosít. De mielőtt egy AI-crawler egyáltalán elolvashatná a robots.txt fájlodat, sikeresen be kell fejeznie egy HTTPS-kézfogást a szerveroddal. Ha ez a kézfogás elbukik, a tartalmad láthatatlan az AI számára, bármilyen jól optimalizálod is.
Ez a cikk elmagyarázza, miért a HTTPS és az SSL-tanúsítványok az AI-láthatóság alapjai. Megtanulod, mely biztonsági rétegek érintik a crawlereket, mely SSL-hibák blokkolják az AI-indexelést, és hogyan ellenőrizd, hogy minden jelentős AI-platform hozzáfér-e az oldaladhoz.
Mi az a HTTPS és az SSL-tanúsítvány
A HTTPS a HTTP egy biztonsági réteggel kiegészítve. Amikor egy látogató vagy crawler csatlakozik a weboldaladhoz, a HTTPS titkosítja a böngészője (vagy crawlere) és a szervered között utazó adatokat az SSL (Secure Sockets Layer) vagy modern utódja, a TLS (Transport Layer Security) segítségével.
Az SSL-tanúsítvány az a digitális igazolás, amellyel a szervered bizonyítja, hogy az, akinek mondja magát. Tartalmazza az oldalad domainnevét, a tanúsítvány kiállítóját és egy lejárati dátumot. Amikor egy crawler megérkezik az oldaladra, a szervered bemutatja a tanúsítványt az identitása igazolásaként. A crawler ellenőrzi a tanúsítványt, mielőtt bármilyen tartalmat elérne.
Ez a folyamat láthatatlan az emberi látogatók számára a modern böngészőkben: ők csak egy zöld lakatot látnak. De ha a tanúsítványod hiányzik, lejárt, önaláírt vagy nem egyezik a domaineddel, a kézfogás elbukik. És ez a hiba teljesen kizárja a crawlereket.
Miért van szükségük az AI-crawlereknek HTTPS-re a tartalmad eléréséhez
Az AI-crawlerek ugyanúgy HTTP-kéréseket küldenek, mint a Googlebot. Követik a linkeket, lekérik az oldalakat és elemzik a HTML-t. De néhány régebbi crawlerrel ellentétben minden modern AI-platform (a ChatGPT crawlere, a Perplexity crawlere, a Claude crawlere) érvényes HTTPS-kapcsolatot követel, mielőtt egyáltalán megpróbálná elolvasni a robots.txt-t vagy lekérni egyetlen oldalt.
Íme, mi történik, amikor egy AI-crawler meglátogatja az oldaladat. Először megpróbál biztonságos kapcsolatot létesíteni a domaineddel TLS-sel. A szervered SSL-tanúsítvánnyal válaszol. A crawler ellenőrzi, hogy a tanúsítvány hiteles-e, és megegyezik-e a domaineddel. Csak ha az ellenőrzés sikeres, folytatja a crawler a tartalmad tényleges lekérését.
Ha az SSL-tanúsítványod érvénytelen vagy lejárt, a crawler a második lépésnél megáll, és soha nem kéri le a tartalmadat. A crawler szemszögéből az oldalad elérhetetlen. Nem próbálkozik újra holnap. Elérhetetlennek jelöli a domaint, és továbblép.
Ez különbözik a hagyományos SEO-tól, ahol a Google újrapróbálja a sikertelen kéréseket, és végül akkor is indexeli a tartalmat, ha átmeneti csatlakozási problémák voltak. Az AI-crawlerek szigorúbbak a kezdeti hozzáférési kísérleteknél. Az első kérésnél sikertelen SSL-kézfogás gyakran azt jelenti, hogy egyáltalán nincs indexelés.
Hogyan blokkolják az SSL-tanúsítvány problémái az AI-crawlereket
Nem minden SSL-probléma nyilvánvaló. Egy tanúsítvány lehet technikailag telepítve, de mégsem érvényesülhet bizonyos crawlereknél. A leggyakoribb blokkolók:
Lejárt tanúsítványok
A lejárati dátumát túllépő tanúsítvány érvénytelen. A crawlerek azonnal elutasítják. Egyes oldalak nagyon rövid élettartamú tanúsítványokat (30-90 nap) használnak, és automatikusan megújítják őket. Ha az automatizálás elbukik, a tanúsítvány észrevétlenül lejár, és a crawlerek azonnal elveszítik a hozzáférést.
Önaláírt tanúsítványok
Az önaláírt tanúsítványt a saját szervered írja alá megbízható tanúsítványkiadó helyett. A böngészők és a crawlerek nem bíznak az önaláírt tanúsítványokban, mert bárki létrehozhatna egyet, és bárkinek mondhatná magát. Az önaláírt tanúsítványok fejlesztéshez vagy belső hálózatokhoz rendben vannak, de blokkolnak minden nyilvános crawler-hozzáférést.
Domain-eltérés
Ha a tanúsítványod az example.com-ra szól, de az oldalt a www.example.com-on keresztül éred el (vagy fordítva), a tanúsítványban lévő domain nem egyezik a kért domainnel. A crawlerek elutasítják. Már egy kis különbség is számít: a sub.example.com-ra szóló SSL-tanúsítvány nem érvényesül, ha a crawler a content.example.com tartalmát kéri.
Tanúsítványlánc-problémák
Az SSL-tanúsítvány egy láncban él, amely egy gyökértanúsítvány-kiadóhoz vezet vissza. Ha a szervered nincs beállítva a teljes lánc elküldésére (megvan a végfelhasználói tanúsítványod, de nincsenek meg a köztes tanúsítványok), a crawlerek nem biztos, hogy ellenőrizni tudják az identitásodat. Egyes crawlerek engedékenyek, és megpróbálják megtalálni a hiányzó köztes tanúsítványt online. Mások azonnal elutasítják a kapcsolatot.
SNI-konfigurációs problémák
A Server Name Indication (SNI) lehetővé teszi, hogy egyetlen szerver több HTTPS-oldalt üzemeltessen azáltal, hogy azonosítja, melyik oldalt kéri a látogató. Ha a szervered nincs beállítva SNI-re, vagy hibás az SNI-beállítása, a domainedet kérő crawlerek egy másik domainre szóló tanúsítványt kaphatnak. Ettől az ellenőrzés elbukik.
Biztonsági fejlécek, amelyek befolyásolják az AI-crawlerek hozzáférését
Miután az SSL-kézfogás sikeres, a szervered küldhet biztonsági fejléceket, amelyek szabályozzák, hogyan lépnek kapcsolatba a crawlerek a tartalmaddal. Ezek a fejlécek nem blokkolják teljesen a crawlereket, de befolyásolják, hogyan kezelik az oldalaidat.
Strict-Transport-Security (HSTS)
A HSTS azt mondja a crawlereknek, hogy mindig HTTPS-t használjanak az oldalad elérésekor, soha HTTP-t. Ez jó a biztonságnak, és nem blokkolja a crawlereket. De ha a HSTS-t nagyon hosszú érvényességgel rosszul állítod be, majd később érvénytelen tanúsítványra váltasz, olyan helyzetet teremtesz, amelyben a crawlerek kénytelenek HTTPS-t használni, de nem tudják befejezni a kézfogást. Gondoskodj róla, hogy a HSTS-szabályzatodhoz érvényes tanúsítványok tartozzanak az általad megadott érvényességi időn át.
X-Frame-Options és X-Content-Type-Options
Ezek a fejlécek megmondják a crawlereknek, hogyan kezeljék a tartalmadat. Nem akadályozzák meg, hogy lekérjék. De befolyásolhatják, hogyan elemzik és nyerik ki az információt az oldalaidról.
Content-Security-Policy
A CSP-fejlécek korlátozhatják, mely erőforrásokat érhetik el a crawlerek az oldalaidról. Ha nagyon szigorú CSP-d van, amely blokkolja a külső erőforrásokat, a crawlerek nem biztos, hogy le tudják kérni az oldalaidon hivatkozott képeket, stíluslapokat vagy szkripteket. Ez nem blokkolja magát a HTML-t, de korlátozza a jeleket, amelyeket a crawlerek kinyerhetnek.
Gyakori SSL-hibák és jelentésük az AI-indexelésre nézve
Amikor egy AI-crawler nem tudja ellenőrizni az SSL-tanúsítványodat, hibát naplóz. Ezeknek a hibáknak a megértése segít diagnosztizálni, mi romlott el. Íme a leggyakoribbak:
A tanúsítvány lejárt
Az SSL-tanúsítványod túllépte a lejárati dátumát. A crawlerek látják a tanúsítvány lejárati dátumát, és elutasítják. Ez a legkönnyebben észrevehető és javítható probléma. Ellenőrizd a tanúsítványod lejárati dátumát, és újítsd meg a lejárat előtt.
A tanúsítvány nem egyezik a domainnel
A tanúsítványban lévő domainnév nem egyezik azzal a domainnel, amelyet a crawler kér. Ez gyakran akkor történik, ha új domainre költözöl, de elfelejted frissíteni az SSL-tanúsítványodat, vagy ha aldomaint adsz hozzá, de a tanúsítványod csak a gyökérdomaint fedi le.
A tanúsítványkiadó nem ellenőrizhető
A crawler nem tudja visszavezetni a tanúsítványodat egy megbízható gyökérkiadóig. Ez akkor történik, ha a tanúsítványt nem megbízható kiadó állította ki, vagy ha a szervered nem küldte el a köztes tanúsítványok teljes láncát.
A tanúsítványt visszavonták
A tanúsítványkiadód biztonsági incidens vagy hibás beállítás miatt visszavonta a tanúsítványt. A crawlerek ellenőrzik a visszavonási állapotot, és megtagadják a hozzáférést. Ez ritka, de komoly, ha megtörténik.
Hogyan ellenőrizd a HTTPS-beállításaidat az AI-crawlerekhez
A legjobb módja annak, hogy meggyőződj róla, hogy az AI-crawlerek hozzáférnek az oldaladhoz, ha magad teszteled. Ezek a diagnosztikai lépések egy nagyobb technikai GEO-audit részei. Így ellenőrizd kifejezetten a HTTPS-problémákat:
Használj online SSL-ellenőrzőket
Az ingyenes online SSL-ellenőrző eszközök teljes elemzést futtatnak az SSL-beállításodról. Ellenőrzik a tanúsítvány érvényességét, a lánc teljességét, a TLS-verziók támogatását és az ismert sebezhetőségeket. Futtasd át a domainedet ezeken az eszközökön, és javítsd a jelentett hibákat.
Tesztelj curl-lel vagy wget-tel
Egy terminálból futtasd a curl -I https://yourdomain.com vagy a wget -S -O /dev/null https://yourdomain.com parancsot. Ezek az eszközök azt utánozzák, amit a crawler csinál. Ha SSL-hibával elbuknak, a crawlerek is el fognak bukni. A hibaüzenet pontosan megmondja, mi a baj.
Ellenőrizd OpenSSL-lel
Az OpenSSL az SSL-diagnosztika szabványos eszköze. Futtasd az openssl s_client -connect yourdomain.com:443 parancsot, hogy lásd, pontosan milyen tanúsítványt mutat a szervered, és helyesen érvényesül-e.
Ellenőrizd a tanúsítványlánc teljességét
Használj olyan eszközöket, mint a testssl.sh, hogy ellenőrizd, a szervered a teljes tanúsítványláncot küldi-e. Ha hiányoznak a köztes tanúsítványok, add hozzá őket a szerverkonfigurációhoz.
Tesztelj több AI-platformon
Egyes AI-crawlerek szigorúbbak másoknál az SSL-ellenőrzésben. Teszteld az oldaladat úgy, hogy olyan választ kérsz a ChatGPT-től, a Perplexitytől, a Claude-tól és a Google Gemini-tól, amely tartalmazza a tartalmadat. Ha az egyik platform nem fér hozzá az oldaladhoz, nézd meg a crawlerének dokumentációját az esetleges SSL-követelményekről. A különböző AI-platformoknak különböző crawlerviselkedésük van, erről többet tudhatsz meg a ChatGPT-keresés optimalizálásáról és a Perplexity-platform optimalizálásáról szóló útmutatóinkból.
Hogyan kezeli a WEMASY az SSL-t és a biztonságot az AI-crawlerek számára
Minden WEMASY-n épített weboldal automatikus HTTPS-t kap megbízható kiadó által kiállított, érvényes SSL-tanúsítvánnyal. A tanúsítványod automatikusan kiállításra, megújításra és figyelésre kerül. Nem neked kell kezelned a lejárati dátumokat vagy a megújítási ciklusokat.
A WEMASY úgy is beállítja a tanúsítványodat, hogy a gyökérdomaint és a www aldomaint is lefedje, kiküszöbölve a domain-eltérési hibákat. A teljes tanúsítványláncot automatikusan elküldi, így a crawlerek hiba nélkül ellenőrizhetik az identitásodat.
A HSTS-fejléceid ésszerű érvényességgel vannak beállítva, így a biztonság megmarad anélkül, hogy bootstrap-problémát okozna, ha tanúsítványt kell módosítanod. Tudj meg többet a biztonsági és teljesítményfunkciókról, amelyek az egyes WEMASY-csomagokban szerepelnek.
Gyakran ismételt kérdések
Támogatják az AI-crawlerek a HTTPS-t és a HTTP-t is?
Nem. Minden jelentős AI-crawler (GPTBot, ClaudeBot, PerplexityBot) kizárólag HTTPS-t követel. A HTTP-t nem támogatják. A HTTP-n futó oldalhoz az AI-crawlerek egyáltalán nem férhetnek hozzá. Ha van egy régebbi oldalad, amely még HTTP-n fut, azonnal költözz HTTPS-re. A HTTPS kötelező az AI-crawlerek hozzáféréséhez. A WEMASY weboldalépítőjével ezt közvetlenül beállíthatod a weboldaladon.
Működik a helyettesítő karakteres (wildcard) SSL-tanúsítvány az összes aldomainre?
Igen. A wildcard tanúsítvány (*.example.com) a gyökérdomained alatti bármely aldomaint lefedi. Ha vannak olyan aldomaineid, mint az api.example.com vagy a blog.example.com, a wildcard tanúsítvány mindet lefedi. A wildcard tanúsítvány azonban magát a gyökérdomaint (example.com) nem fedi le, hacsak kifejezetten nem szerepel benne. Gondoskodj róla, hogy a wildcard tanúsítványod a wildcardot és a gyökérdomaint is lefedje.
Követik az AI-crawlerek a HTTP-ről HTTPS-re irányító SSL-átirányításokat?
A legtöbb igen. Ha a szervered a HTTP-kéréseket HTTPS-re irányítja át (gyakori beállítás), az AI-crawlerek követik az átirányítást, és folytatják a HTTPS-kapcsolattal. Ez azonban egy extra lépést ad, és további crawler-erőforrásokat használ. A legjobb gyakorlat a HTTP teljes letiltása, és csak a HTTPS-kapcsolatok fogadása. Ez garantálja, hogy nincs átirányítási többletterhelés, és a crawlerek nem érkeznek az oldalad titkosítatlan változatára.
Milyen gyakran kell megújítanom az SSL-tanúsítványomat?
A modern SSL-tanúsítványok jellemzően egy évig érvényesek. A legtöbb tárhelyszolgáltató és platform (köztük a WEMASY) automatikusan kezeli a megújítást. Nem kell kézzel megújítanod, hacsak nincs nagyon régi tárhelybeállításod. Állíts be naptári emlékeztetőket a lejárat előtt 30 nappal a biztonság kedvéért, de az automatikus megújítás teljesen megelőzi a lejárati problémákat.
Árt a rossz SSL-tanúsítvány a SEO-helyezésemnek?
Igen. A Google megköveteli a HTTPS-t, és az érvényes HTTPS nélküli oldalakat alacsonyabb minőségűnek tekinti. A lejárt vagy érvénytelen SSL-tanúsítványt úgy kezelik, mint egy HTTP-oldalt: a helyezésekben büntetik. Az AI-láthatóságnál a büntetés még súlyosabb, mert az AI-crawlerek egyáltalán nem tudnak hozzáférni a lejárt tanúsítványokhoz. Nem indexelik a tartalmadat, bármilyen jól optimalizált is.
Használhatok önaláírt tanúsítványt éles weboldalhoz?
Nem. Az önaláírt tanúsítványokat minden jelentős crawler és böngésző elutasítja. Csak fejlesztéshez, teszteléshez vagy belső hálózatokhoz alkalmasak, ahol te irányítod a szerverhez csatlakozó összes klienst. Bármely nyilvános weboldalhoz használj megbízható tanúsítványkiadó (CA) által kiállított tanúsítványt. A legtöbb tanúsítványkiadó nagyon olcsó vagy ingyenes tanúsítványokat kínál alapvető használatra.