robots.txt
A robots.txt file a honlap mellett arra szolgál, hogy a keresőrobotoknak információt adjon, hogy mit lehet és mit nem szabad feltérképeznie a honlapon. Működését tekintve annyiról van szó, hogy amikor a robot egy adott oldalt fel akar térképezni, akkor megnézi, hogy létezik-e a robots.txt file és ha igen, akkor kiolvassa a tartalmát, majd annak függvényében fog továbbhaladni az oldalon.
Fontos megemlíteni két dolgot a robots.txt-vel kapcsolatban. Az egyik, hogy nem titkos. Bárki bármikor megnézheti a tartalmát, ha a böngészőjébe beírja pl: www.midomainunk.hu/robots.txt. Emiatt ne tároljunk benne titkos információkat. A másik, hogy ez igazából egy lehetőség a robotoknak, ami azt jelenti, hogy nem kötelező érvényű. A rosszindulatú robotok, melyek titkos információkra vadásznak a neten, természetesen figyelmen kívüól hagyják ezt a filet.
Nézzünk egy egyszerű példát egy robots.txt filera:
User-agent: *
Disallow: /valami/
Disallow: /semmi/
Disallow: /titkos/
Az első sor azt jelenti, hogy ezek az információk minden robotra vonatkoznak. Ha például azt szeretnénk, hogy a beállítás csak a Google-re vonatkozzon, akkor itt a * helyére Google-t kellett volna írnunk. Az utána következő 3 sor azt jelenti, hogy a megadott könyvtárba nem léphet be a robot. Tehát az oldal valami, semmi és a titkos nevű könyvtárainak a tartalmát nem indexelheti.
A User-Agent részben a * egy speciális attribútum, tehát nem használható úgy, mint helyettesítő karakter: *bot*, Google*, stb. Ezek nincsenek értelmezve.
Fontos még megemlíteni, hogy a Disallow esetén egy sorba egy könyvtár kell, hogy szerepeljen, tehát nem értelmezett például ez:
Disallow: /valami/ /semmi/
Amennyiben csak egyetlen robot számára szeretnénk elérhetővé tenni az oldalt, azt így lehet megtenni:
User-agent: Google
Allow: /User-agent: *
Disallow: /
Ebben az esetben a Google feltérképezi az oldalt, viszont a többi robot számára nem engedélyezett.
üdv,
WebMester
Nincsenek hasonló bejegyzések.
Legutóbbi hozzászólások