A Robots Exclusion Protocol fejlődése

Forrás: Kövi Bálint

Dátum: 2008-06-22

A weben jelenlevők sokszor teszik fel a kérdést, hogy hogyan növelhetnénk oldalaik láthatóságát. Ennek a keresőoptimalizáláshoz van köze, azaz annak biztosításához, hogy honlapjaik minden keresőben jelen legyenek. Néha azonban azért van szükség a keresőrobotok és az oldal üzemeltetői közti kommunikációra, mert utóbbiak nem akarják, hogy egyes tartalmak megjelenjenek a keresőkben. Erre szolgál a REP, azaz a Robots Exclusion Protocol, amellyel utasításokat adhatunk a keresőknek akár egy központi helyről (robots.txt), akár egyedi oldalak szintjén (meta tagekkel) arra vonatkozólag, hogy azok hogyan viszonyuljanak az egyes aloldalakhoz.

Honlapkészítés, keresőmarketing, keresőoptimalizálás, online PR kampány? Kérje ajánlatunkat itt!

A REP története

A Robots Exclusion Protocol alapjai a 90-es években jöttek létre. Azóta ipari szabvány vált belőle, amellyel a honlapok tulajdonosai meghatározhatják, hogy oldalaik mely részét szeretnék elrejteni a keresőrobotok elől. Egyszerű és hatékony eszköz lévén ma már rengetegen használják fel a Robots Exclusion Protocolt arra, hogy a keresőrobotokkal ilyen módon kommunikáljanak. A REP erőssége abban rejlik, hogy nagyon rugalmas, és ezáltal képes a webbel együtt fejlődni.

A tagek pontos jelentése

Minden nagyobb keresőrobot felhasználja a Robots Exclusion Protocolt arra, hogy az oldal üzemeltetőivel kommunikáljon, azonban sokáig nem találhattunk megbízható információt arra vonatkozóan, hogy az egyes tageket hogyan értelmezik a keresők. Az itt leírtak a három legnagyobb keresőmotor - a Google, az MSN Live és a Yahoo - közös értelmezési módját takarják.

Robots.txt utasításai

Disallow: a keresőrobot nem fogja indexelni az itt felsorolt oldalakat. Itt könyvtár- vagy fájlneveket sorolhatunk fel.
Allow: az engedélyezett oldalakt sorolja fel, a Disallow-val együtt van értelme használni (ha például egy teljes könyvtárat letiltunk, de néhány fájlt mégis szeretnénk engedélyezni belőle)
Sitemap: a sitemap direktívával a honlaphoz tartozó oldaltérkép elérhetőségét adhatjuk meg a keresőknek

Mind az Allow, mind a Disallow parancs esetében használhatunk egyszerű mintaillesztő kifejezéseket: a $ az URL végét jelöli (például a Disallow: /*.php$ az összes php kiterjesztésű állomány indexelését megtiltja), a * karakter pedig bármilyen karakterláncra illeszkedik (például a Disallow: /private*/ az összes private kezdetű alkönyvtár indexelését tiltja meg).

Meta tagek

NOINDEX: az adott oldal indexelését tiltja meg
NOFOLLOW: az adott oldal linkjeinek követését tiltja meg
NOSNIPPET: hatására az adott oldalnak a találati listákban nem lesz rövid leírása
NOARCHIVE: az adott oldalról nem készül tárolt változat
NOODP: a találati listákban az oldal rövid leírásának generálásához nem használható az Open Directory Project adatbázisa

Egyéb meta tagek

Az alábbiakban felsorolt meta tagek feldolgozását a három nagyon kereső megoldotta, azonban nem biztos, hogy a többi kereső is értelmezi őket.

UNAVAILABLE_AFTER: ebben a meta tagben egy dátumot kell megadni, ami után az oldal kikerül a keresők találati listájából
NOIMAGEINDEX: az adott oldalon található képek nem kerülnek bele a képkereső indexbe
NOTRANSLATE: egyes oldalakat a Google lefordítja a keresést végző anyanyelvére. A NOTRANSLATE taggel megakadályozhatjuk, hogy ezt a kereső felkínálja.

Forrás: http://googlewebmastercentral.blogspot.com/2008/06/improving-on-robots-exclusion-protocol.html