Les fichiers robots.txt
Le fichier robots.txt permet d'indiquer aux outils de recherche de ne pas indexer certaines parties de votre site.
Il s'agit d'un simple fichier texte qui doit être présent à la racine de votre site Web.
Exemple de fichier
User-Agent: *
Disallow: /repertoire/
Disallow: /repertoire/page.html
# Ligne de commentaire
User-agent: googlebot
Disallow: /
- User-Agent: indique quel robot est concerné par les lignes d'instructions suivantes. (* Pour tous les robots)
- Disallow: Indique quelle page ou quel répertoire ne doit pas être indexé.
- # Est une ligne de commentaire et ne sera pas interprétée.
Imprimer cette publication