Robots.txt

Le fichier Robots.txt est un fichier de type texte placé à la racine d’un site Web et destiné à guider les moteurs de recherche dans la façon qu’on ceux-ci d’indexer un site. Il permet, entre autre, d’interdire l’accès à certains dossiers d’un serveur aux robots des moteurs.