Pas mal de débats sur ce petit fichier... robots.txt. Est-il réellement utile ? comment le remplir ?
Il s'agit d'un protocole d'exclusion des robots. En clair un fichier que tout robot, bien intentionné doit lire et respecter. Il permet de déclarer un répertoire, un fichier, et de manière générale n'importe quelle ressource, de façon à ne pas être indexé par un ou des moteurs de recherches.
Lire la suite : Tout ce que vous avez toujours voulu savoir sur le robots.txt
© 2023 UniDeal
© 2023 UniDeal