Pas mal de débats sur ce petit fichier... robots.txt. Est-il réellement utile ? comment le remplir ?

A quoi ça sert ?

Il s'agit d'un protocole d'exclusion des robots. En clair un fichier que tout robot, bien intentionné doit lire et respecter. Il permet de déclarer un répertoire, un fichier, et de manière générale n'importe quelle ressource, de façon à ne pas être indexé par un ou des moteurs de recherches.

Recherche & Partage