A láthatatlan web

Forrás: Kövi Bálint, porgramozási vezető

Dátum: 2007-12-08

A láthatatlan web (angolul deep web) a World Wide Web azon részhalmazát jelöli, amelyet a hagyományos keresőrobotok nem érnek el. Ezeknek az oldalaknak a kereshetővé tételére több próbálkozás is történt.

Honlapkészítés, keresőmarketing, keresőoptimalizálás, online PR kampány? Kérje ajánlatunkat itt!

Deep web

A láthatatlan (deep) web kifejezés a World Wide Web egy olyan részhalmazát jelöli, amely a hagyományos keresőrobotok számára nem érhető el. A deep web ellentéte a surface web, ezeket az oldalakat a keresők is látják. Egyes feltételezések szerint a deep web mérete sokszorosan meghaladja a keresők által indexelt oldalakét.

Mitől lesz láthatatlan egy oldal?

Több lehetséges oka lehet annak, hogy egy kereső nem látja oldalunkat. A legegyszerűbb példa az, ha mi nem akarjuk, hogy lássák a keresők. Ezt honlapunk gyökérkönyvtárába helyezett megfelelő tartalmú robots.txt-vel érjük el. Jelszóval is védhetjük oldalainkat, erre az általunk használt szervertől függően több módszer is elképzelhető. Nem csak jelszavak, hanem IP tartományok alapján is szűrhetjük látogatóinkat.

Ha nem publikáljuk, és egy link sem mutat rá, az is hatékony módszer arra, hogy oldalunkat a deep web részévé tegyük.

Nem biztos azonban, hogy szándékosan nem látható oldalunk. Ha egyes lapokat csak flash menüvel, java script generálta kóddal vagy űrlapokkal lehet megközelíteni, akkor azokat a keresőrobotok nem fogják elérni.

A láthatatlan web keresői

Több próbálkozás témája is a láthatatlan web kereshetővé tételére. Az egyik legismertebb a Google Sitemap, amellyel egy egyszerű XML fájl "beküldésével" oldalaink felsorolását eljuttathatjuk a Google keresője számára. Ez a fájl viszonylag szabványos, ugyanezt a fájlt a Yahoo és az MSN Live számára is elküldhetjük.

Vannak kézi módszerek is a deep web feltárására. A stumbleupon.com -on a látogatók oszthatják meg általuk érdekesnek ítélt oldalakat mindenki számára. Más kérdés, hogy ez mennyire hatékony megoldás, az oldalon található hivatkozásokból néhány véletlenszerűen kiválasztott megtalálható volt "hagyományos" keresőkkel is.

Vannak ígéretes próbálkozások arra is, hogy a keresők az űrlapokat automatikusan kitöltsék bizonyos értékekkel, és így indexelhetővé válnak a korábban nem elérhető tartalmak (pl. adatbázis-függő, automatikusan generált lapok esetében). Könnyen elképzelhető, hogy ezt a megoldást később viszontlátjuk a nagy keresőmotoroknál.

Végül léteznek, nem általános, hanem egy-egy szűk témakörre összpontosító keresők (pl. a closerlooksearch.com, northernlight.com), amelyeket akár igényeink alapján módosíttatni is lehet. Ekkor a motor testreszabása során nagy figyelmet kap a számunkra fontos témákhoz tartozó deep web felderítése.

Honlapkészítés, online marketing és PR tanácsadás? Kérje ajánlatunkat itt!