robots.txt
Más néven: robots fájl, robots.txt fájl, robotkizárási protokoll, robots exclusion protocol
A robots.txt a webhely gyökérkönyvtárában elhelyezett szöveges fájl, amely megmondja a keresőrobotoknak és más automatizált feltérképezőknek, hogy a webhely mely részeit látogathatják, és melyeket ne töltsék le.
Hogyan néz ki?
User-agent: *
Disallow: /admin/
Sitemap: https://omm.hu/sitemap.xml
A User-agent sor megnevezi, melyik robotra vonatkozik a szabály (* = mindegyik), a Disallow a tiltott útvonalat, a Sitemap pedig az XML-oldaltérkép címét adja meg.
Mire nem alkalmas?
A robots.txt a feltérképezést szabályozza, nem az indexelést. Ha egy tiltott oldalra máshonnan linkelnek, a Google az oldal tartalmának ismerete nélkül is felveheti a találatok közé. Ha egy oldalt biztosan ki akarsz zárni a keresőből, használj noindex jelölést – és ilyenkor ne tiltsd robots.txt-ben, mert a robot különben nem látja a jelölést.
A robots.txt nem biztonsági eszköz sem: bárki elolvashatja, és a rosszindulatú robotok nem tartják be. Bizalmas tartalmat jelszóval kell védeni.
Gyakori hiba
Egy fejlesztés közben bent felejtett Disallow: / sor az egész webhelyet kizárja a feltérképezésből. Élesítés után mindig ellenőrizd a fájlt, például a Search Console-ban.
Források
Saját szolgáltatásaink – DLX MEDIA
Kapcsolódó szolgáltatások
-
Marketingszövegírás
Keresőbarát, értékesítést támogató marketingszövegek weboldalra, blogra és kampányokhoz.
Részletek és ajánlatkérés: Marketingszövegírásmarketingszovegiras.hu
-
Marketingtámogatás kkv-knak
Marketingstratégia és megvalósítás kis- és középvállalkozásoknak, kötetlen konzultációval kezdve.
Részletek és ajánlatkérés: Marketingtámogatás kkv-knakkkvmarketing.hu