Indeksiranje je postupak skeniranja datoteka koje se nalaze na internetskom resursu pomoću robota za pretraživanje. Ovaj postupak se izvodi tako da je web lokacija dostupna u rezultatima pretraživanja za različite upite u pretraživaču. Među najvećim pretraživačima danas je Yandex koji ovo skeniranje provodi na svoj način.
Instrukcije
Korak 1
Indeksiranje internetske stranice provode se pomoću posebnih automatskih programa - pretraživačkih robota, koji automatski prate pojavu novih web stranica na svjetskoj mreži, neprestano skenirajući internetske stranice smještene na Internetu, datoteke i veze do njih na svakom resursu.
Korak 2
Za skeniranje, robot ide u direktorij u kojem se nalazi resurs na određenom serveru. Pri odabiru nove lokacije, robot se rukovodi njegovom dostupnošću. Na primjer, postoji mišljenje da Yandex prvo skenira web stranice stvorene u domeni na ruskom jeziku i na ruskom jeziku - ru, rf, su ili ua, a tek onda prelazi u druge regije.
Korak 3
Robot dolazi do web mjesta i skenira njegovu strukturu, prvo tražeći datoteke koje ukazuju na daljnje pretraživanje. Na primjer, web lokacija se skenira za Sitemap.xml ili robots.txt. Te datoteke se mogu koristiti za postavljanje ponašanja robota za pretraživanje prilikom skeniranja. Koristeći kartu web stranice (sitemap.xml), robot dobiva precizniju ideju o strukturi resursa. Webmaster koristi robots.txt za definiranje datoteka koje ne bi želio da se prikazuju u rezultatima pretraživanja. Na primjer, to mogu biti lični podaci ili drugi neželjeni podaci.
Korak 4
Skenirajući ova dva dokumenta i primivši potrebne upute, robot počinje raščlanjivati HTML kôd i obrađivati primljene oznake. Prema zadanim postavkama, u nedostatku datoteke robots.txt, pretraživač započinje obradu svih dokumenata pohranjenih na serveru.
Korak 5
Klikom na veze u dokumentima, robot također prima informacije o drugim web lokacijama koje su u redu za skeniranje nakon ovog resursa. Skenirane datoteke na web lokaciji spremaju se kao tekstualna kopija i struktura na poslužiteljima u Yandexovim centrima podataka.
Korak 6
Potrebu za ponovnim skeniranjem automatski određuju i roboti. Program uspoređuje postojeći rezultat skeniranja s ažuriranom verzijom stranice kada ponovo prođe kroz indeksiranje. Ako se podaci koje program prima razlikuju, kopija stranice se ažurira i na Yandex serveru.
