Robot pretraživača odgovoran je za indeksiranje web stranica. Program automatski čita podatke sa svih stranica i registrira ih u obliku koji je razumljiv samoj pretraživačici, tako da će sistem kasnije prikazati najprikladnije rezultate za korisnika.
Funkcije
Sve indeksirane informacije bilježe se u zajedničku bazu podataka.
Robot za pretraživanje je program koji automatski putuje stranicama Interneta, tražeći potrebne dokumente i primajući strukturu pretraživanih web lokacija. Robot samostalno bira stranice za skeniranje. U većini slučajeva web stranice za skeniranje biraju se slučajnim odabirom.
Tipovi botova
Neispravan rad robota značajno povećava opterećenje na mreži i serveru, što može dovesti do toga da resurs bude nedostupan.
Svaka pretraživač ima nekoliko programa koji se nazivaju roboti. Svaki od njih može obavljati određenu funkciju. Na primjer, na Yandexu su neki roboti odgovorni za skeniranje RSS feedova vijesti, što će biti korisno za indeksiranje blogova. Postoje i programi koji pretražuju samo slike. Međutim, najvažnija stvar je boks za indeksiranje, koji čini osnovu za bilo kakvu pretragu. Tu je i pomoćni brzi robot dizajniran da traži ažuriranja o vijestima i događajima.
Postupak skeniranja
Drugi način za sprečavanje puzanja sadržaja je stvaranje pristupa web lokaciji putem registracijske ploče.
Prilikom posjeta web lokaciji program skenira sistem datoteka na prisustvo datoteka s uputama robots.txt. Ako postoji dokument, započinje čitanje smjernica zapisanih u dokumentu. Robots.txt može zabraniti ili, obrnuto, omogućiti skeniranje određenih stranica i datoteka na web lokaciji.
Postupak skeniranja ovisi o vrsti programa. Roboti ponekad čitaju samo naslove stranica i nekoliko odlomaka. U nekim se slučajevima skeniranje vrši u cijelom dokumentu, ovisno o HTML oznaci, što može poslužiti i kao sredstvo za specificiranje ključnih fraza. Neki su programi specijalizirani za skrivene ili metatagove.
Dodavanje na listu
Svaki webmaster može spriječiti pretraživač da indeksira stranice putem datoteke robots.txt ili META. Također, kreator web stranice može ručno dodati web mjesto u red za indeksiranje, ali dodavanje toga ne znači da će robot odmah indeksirati željenu stranicu. Da bi dodali web mjesto u red, pretraživači također nude posebna sučelja. Dodavanje web lokacije značajno ubrzava postupak indeksiranja. Takođe, za brzu registraciju u pretraživaču mogu se koristiti sistemi web analitike, direktoriji web lokacija itd.
