Zone Webmasters - Fichier robots.txt

Les fichiers robots.txt

Le fichier robots.txt permet d'indiquer aux outils de recherche de ne pas indexer certaines parties de votre site.
Il s'agit d'un simple fichier texte qui doit être présent à la racine de votre site Web.

Exemple de fichier

User-Agent: *
Disallow: /repertoire/
Disallow: /repertoire/page.html
# Ligne de commentaire
User-agent: googlebot
Disallow: /

• User-Agent: indique quel robot est concerné par les lignes d'instructions suivantes. (* Pour tous les robots)
• Disallow: Indique quelle page ou quel répertoire ne doit pas être indexé.
• # Est une ligne de commentaire et ne sera pas interprétée.

Autres exemple de robots.txt

On interdit l'indexation de tout le site à tout les robots:

User-Agent: *
Disallow: /

On interdit l'indexation de toute les pages au robot googlebot et on l'autorise à tout les autres:

User-Agent: googlebot
Disallow: /
User-agent: *
Disallow: 

Imprimer cette publication