robots.txt

Je me suis demandé pendant quelques temps, pourquoi dans les statistiques de consultation du site http://ru3.org figurait en bonne place une requête vers une page inexistante intitulée robots.txt. Je laisse le soin à d'autres, plus compétents que moi dans le domaine, de rédiger ici une courte définition du bidule -- Luc Legay

Les fichiers robots.txt ne sont qu'une solution parmi d'autres pour prévenir l'indexation des robots de recherche. -- Charles Nepote

Quelques exemples de fichiers .txt destinés aux robots

• http://www.w3.org/robots.txt
• http://www.ripe.net/robots.txt
• http://www.cnn.com/robots.txt
• http://www.mit.edu/robots.txt
• http://www.boutell.com/robots.txt

Ressources

http://www.pageresource.com/zine/robotstxt.htm
http://www.internet-tips.net/searchengines/robots.htm

Glossaire des réseaux ouverts