Stranice svake stranice redovito pretražuju roboti za pretraživanje koji obrađuju informacije na web lokaciji tako da budu dostupne na zahtjev korisnika u pretraživačima. Posjete posjetitelja s pretraživača pozitivno utječu na promet na web lokaciji i stimuliraju razvoj resursa. Ali, ako na stranici postoje stranice čija informacija nije namijenjena internetskoj publici (na primjer, osobne stranice korisnika ili stranica za registraciju), tada prijelaz s pretraživača na takve stranice nije potreban i on bolje je zabraniti ovim informacijama indeksiranje.
Potrebno
- - imate svoju web stranicu
- - da znaju veze do stranica čije indeksiranje treba zabraniti.
- - imati barem osnovno znanje HTML-a
Instrukcije
Korak 1
Da biste spriječili robota za pretraživanje da indeksira određene stranice web mjesta, morate unijeti promjene u datoteku robots.txt, ako je već na vašoj web lokaciji, ili stvoriti ovu datoteku.
Korak 2
Ako je datoteka robots.txt već otpremljena na web lokaciju i ovu datoteku je moguće urediti izravno s kontrolne ploče resursa, otvorite datoteku robots.txt putem web usluge za uređivanje.
Korak 3
Ako ne možete izvršiti promjene u željenoj datoteci izravno s kontrolne ploče, otvorite datoteku robots.txt u pregledniku klikom na vezu do ove datoteke. Kopirajte sve podatke sa stranice koja se otvori i zalijepite ih na list u Notepad.
Korak 4
Ako na web lokaciji nema datoteke robots.txt, otvorite program "Notepad" u čiji ćete novi dokument trebati unijeti potreban kod.
Korak 5
Na prazan list tekstualnog dokumenta napišite prvi potreban red:
Korisnički agent: *
Korak 6
Zatim prijeđite na sljedeći redak pritiskom na tipku Enter i unesite sljedeći kôd:
Disallow: / index / page3Disallow: označava da nema indeksiranja, a / index / page3 je veza do stranice koja ne mora biti indeksirana. Umjesto veze / indeksa / stranice3, umetnite vezu do stranice vaše web lokacije koju želite blokirati za obradu od strane robota.
Korak 7
Imajte na umu da na početku veze nedostaje samo ime domene; njegovo prisustvo u unosu podrazumijeva kosu crtu. Pri indeksiranju web stranice, robot za pretraživanje automatski ubacuje ime domene u takve veze. Stoga na ovaj način napišite linkove do potrebnih stranica.
Korak 8
Nakon onemogućavanja: možete postaviti ne samo vezu do određene stranice, već i vezu do bilo kojeg odjeljka ili direktorija web mjesta. Slično tome, možete zabraniti indeksiranje željenog dijela stranice.
Korak 9
Ako je potrebno zabraniti robotsku obradu nekoliko različitih odjeljaka resursa, na novi link napišite vezu do svakog odjeljka ili stranice na čijem početku ne zaboravite staviti unos Disallow:.
Korak 10
Da biste dovršili promjenu datoteke robots.txt, kliknite gumb "Spremi" tijekom uređivanja datoteke na kontrolnoj ploči ili spremite tekstualni dokument s unosima pod imenom robots.txt i prenesite ovu datoteku na web mjesto.
