A keresők folyamatosan bejárják az oldaladat, linkeket követnek és oldalakat indexelnek. De nem minden oldal érdemel indexelést. Vannak privát oldalaid, admin területeid, teszt oldalaid és duplikált oldalaid, amelyek bejárási keretet pazarolnak. A robots.txt egy egyszerű szöveges fájl, amely megmondja a keresőknek, mely oldalakat járhatják be, és melyeket nem. Ez a kapuőr az oldalad és a keresők robotjai között.
A robots.txt egy egyszerű szöveges fájl, amely a weboldalad gyökérkönyvtárában ül (oldalad.hu/robots.txt). Utasításokat tartalmaz a keresők bejárói számára arról, hogy az oldalad mely oldalait és szekcióit járhatják be. Nem kell belépés a robots.txt eléréséhez. Nyilvános. Bárki meglátogathatja az oldalad.hu/robots.txt címet, és láthatja az utasításaidat.
A keresőknek követniük kellene a robots.txt szabályait. A legtöbb követi. Néhány nem. A jól viselkedő bejárók (Google, Bing, jó hírű keresők) tiszteletben tartják a robots.txt-t. A rossz szándékú szereplők és a rosszindulatú botok gyakran figyelmen kívül hagyják.
Hogyan néz ki a robots.txt?
Egy egyszerű robots.txt fájl így néz ki:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Ez azt mondja az összes botnak (User-agent: *), hogy nem járhatják be az /admin/ vagy a /private/ szekciókat. Kifejezetten engedélyezi a /blog/ szekciót (ami akkor hasznos, ha egy szülőmappa blokkolva van). A botokat a sitemapedre is irányítja.
Íme egy másik példa konkrétabb szabályokkal:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Ez csak a Google bejáróját blokkolja a /temp/ szekcióból. Az összes többi botot blokkolja a /test/ szekcióból és az összes PDF fájlból. A crawl-delay azt mondja a boteknek, hogy várjanak 5 másodpercet a kérések között.
Hogyan segít a robots.txt a SEO-ban
A robots.txt egy fő módon segít a SEO-ban: megőrzi a bejárási keretet. A keresők korlátozott mennyiségű bejárási keretet osztanak ki minden oldalnak. Kis oldalaknál a bejárási keret ritkán probléma. Több ezer oldalas nagy oldalaknál a bejárási keret számít.
Ha az oldalad 10 000 oldalas, de csak 500 fontos, azt akarod, hogy a botok többször is bejárják az 500 fontos oldalt, ahelyett hogy a bejárási keretüket mind a 10 000 oldalra szétosztanák. A robots.txt megakadályozza, hogy a botok időt pazaroljanak jelentéktelen oldalakra.
Gyakori blokkolandó oldalak: admin területek, belépőoldalak, köszönő oldalak, teszt oldalak, duplikált tartalom, munkamenet-oldalak és ideiglenes tartalom. Ezeknek az oldalaknak a blokkolása azt mondja a boteknek, hogy a számító tartalomra fókuszáljanak.
Mit ne blokkolj a robots.txt-ben
Ne blokkolj olyan oldalakat, amelyeket rangsorolni szeretnél. Ne blokkold a blogszekciódat vagy a fő tartalmi területeket. Ne blokkold az oldalak megfelelő megjelenítéséhez szükséges CSS-, JavaScript- vagy képfájlokat (hacsak nem kifejezetten az indexelést akarod megakadályozni).
A Google azt javasolja, hogy ne blokkold a CSS-, JavaScript- és képfájlokat, még ha nem is akarod, hogy indexeljék őket. Ezeknek az erőforrásoknak a blokkolása megakadályozhatja, hogy a Google megfelelően megjelenítse és megértse az oldalaidat.
Ne használd a robots.txt-t érzékeny információ elrejtésére. A robots.txt nyilvános. Bárki elolvashatja az oldalad.hu/robots.txt fájlt. Ha valamit tényleg el akarsz rejteni, használj jelszavas védelmet vagy szerveres hitelesítést, ne robots.txt-t.
Hogyan hozz létre robots.txt fájlt
A robots.txt létrehozása egyszerű. Egyszerű szöveges fájl. A legtöbb weboldalépítő és CMS-platform automatikusan generál egyet.
Ha a CMS-ed nem hozott létre, hozd létre kézzel. Nyiss meg egy szövegszerkesztőt. Írd meg a szabályaidat. Mentsd „robots.txt” néven (nem „robots.txt.txt” néven). Töltsd fel az oldalad gyökérkönyvtárába (oldalad.hu/robots.txt).
Teszteld a robots.txt fájlodat. Menj a Google Search Console-ba, válaszd ki a tulajdonodat, menj a Robots.txt Tester eszközhöz, és illeszd be a szabályaidat. A Google megmutatja, mit blokkol és mit enged a fájl. Ez megerősíti, hogy a szabályaid a szándékod szerint működnek.
Gyakori robots.txt szabályok és példák
Íme a leggyakoribb szabály: blokkold az összes botot egy adott könyvtárból.
User-agent: *
Disallow: /admin/
Így blokkolhatsz egy adott fájltípust (például PDF-eket):
User-agent: *
Disallow: /*.pdf
Így blokkolhatsz minden botot a Google kivételével:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Így adhatsz hozzá bejárási késleltetést (várjon X másodpercet a kérések között):
User-agent: *
Crawl-delay: 10
Így irányíthatod a botokat a sitemapedre:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Fontos robots.txt korlátok
A robots.txt nem biztonsági eszköz. Udvariassági rendszer. A rossz botok, hackerek és rosszindulatú bejárók teljesen figyelmen kívül hagyják a robots.txt-t. Ne használd érzékeny adatok elrejtésére vagy fontos oldalak védelmére. Ezekhez használj jelszavas védelmet.
A robots.txt nem garantálja a keresési találatokból való kizárást. A Google néha indexeli a robots.txt-ben felsorolt oldalakat, ha más indexelt oldalakról linkelnek rájuk. A blokk megakadályozza a bejárást, de az indexelést nem, ha az oldalra máshol linkelnek.
A robots.txt nem noindex. Ha teljesen meg akarod akadályozni az indexelést, használj robots meta címkét vagy X-Robots-Tag fejlécet, ne robots.txt-t. A robots.txt csak a bejárást szabályozza, nem az indexelést.
Gyakori kérdések
Befolyásolja a robots.txt a SEO-rangsorokat?
Közvetve. A robots.txt nem hat közvetlenül a rangsorokra. Viszont azzal, hogy a bejárási keretet a fontos oldalakra irányítod, segítesz a keresőknek gyakrabban bejárni és indexelni a legjobb tartalmadat. A jobb bejárás jobb indexeléshez vezet, ami jobb rangsorolási lehetőséghez. Tehát a robots.txt a bejárási keret kezelésén keresztül közvetve segít a rangsoroknál. A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon állíthatod be.
Blokkolhatom, hogy a Google bejárja az oldalamat?
Igen, de nem kellene. Letilthatod a Googlebotot a robots.txt-ben, de ez megakadályozza, hogy a Google indexelje az oldaladat. Az oldalad eltűnik a Google keresésből. Az egyetlen ok erre az, ha offline veszed az oldalad, vagy költöztetsz, és nem akarod, hogy a régi verziót indexeljék. Szinte minden esetben engedned kell, hogy a Google bejárjon.
Számít a kis- és nagybetű a robots.txt-ben?
Részben. A User-agent és a Disallow parancsok nem érzékenyek a kis- és nagybetűre. A letiltott útvonalak a legtöbb szerveren érzékenyek. Az /Admin/ és az /admin/ különböző útvonalak. Teszteld a szabályaidat a Google Search Console-ban, hogy biztos legyél a szándék szerinti működésükben.
Blokkoljam a duplikált oldalakat a robots.txt-vel?
Attól függ. A robots.txt a bejárást blokkolja, nem az indexelést. Ha meg akarod akadályozni, hogy a duplikált oldalakat indexeljék, inkább használd a canonical címkét vagy a robots meta noindexet. Használd a robots.txt-t olyan jelentéktelen duplikátumok bejárásának blokkolására, amelyek esetében nem érdekel, hogy a Google valaha megtalálja-e őket.
Értesítenem kell a Google-t, ha módosítom a robots.txt-t?
Nem. A Google gyakran bejárja a robots.txt-t. A változások általában órákon belül életbe lépnek. Nem kell újra beküldened az oldalad, vagy bárkit értesítened. Csak frissítsd a robots.txt-t, és várj a következő bejárásra.
Mi a különbség a robots.txt és a robots meta címkék között?
A robots.txt fájlszinten blokkolja a bejárást. A robots meta címkék oldalszinten szabályozzák az indexelést. A robots.txt azt mondja, hogy egy oldal nem járható be. A robots meta címkék (például a noindex) azt mondják, hogy egy oldal bejárható, de nem szabad indexelni. Használd a robots.txt-t a nagy, blokkolni kívánt szekciókhoz. Használd a robots meta címkéket az egyes oldalaknál, amelyeket be akarsz járatni, de nem akarsz indexeltetni.