Hur fungerar filen robots.txt?

2011-02-07

Indexering

Precis som andra sökmotorer undersöker SiteSeeker filen robots.txt om en sådan finns i webbserverns rotkatalog.

I robots.txt filen kan en systemadministratör förbjuda vissa eller alla sökmotorer att hämta filer i angivna kataloger. Det kan vara bra att ha en sådan fil av flera skäl: Du kan se till att sökmotorerna inte ger oönskade dokument som resultat och att sökmotorerna inte belastar din webbserver genom att hämta filer i onödan. Om man ser konstiga eller orimligt många sökfrågor i sökstatistiken kan man behöva undanta söksidan från indexering.

Vill du göra speciella regler för SiteSeeker i robots.txt, är det bra att veta att SiteSeekers sidhämtare kallar sig SiteSeekerCrawler/1.0.

Här kan du läsa mer om robots.txt: www.searchtools.com/robots/robots-txt.html. Du kan få din robots.txt kontrollerad här: validator.czweb.org/robots-txt.php.