Robots.txt

Er worden op het internet robots (ook wel spiders en crawlers genoemd) ingezet om het internet te doorzoeken. Zoekmachines (zoals Google) maken hier ook gebruik van om (nieuwe) websites op te sporen. Je kunt deze robots een beetje helpen door een zogeheten robots.txt bestandje bij je website te voegen. Dit bestandje geeft meldingen aan de robots, bijvoorbeeld dat bepaalde pagina’s niet vindbaar mogen zijn of zelfs niet voor bezoekers zijn gemaakt.