Zone Webmasters - Fichier robots.txt

> Accueil > Publications > Référencement > Fichier robots.txt

Fichier robots.txt

Par: Rudy | Catégorie: Référencement

Les fichiers robots.txt

Le fichier robots.txt permet d'indiquer aux outils de recherche de ne pas indexer certaines parties de votre site.
Il s'agit d'un simple fichier texte qui doit être présent à la racine de votre site Web.

Exemple de fichier
User-Agent: *
Disallow: /repertoire/
Disallow: /repertoire/page.html
# Ligne de commentaire
User-agent: googlebot
Disallow: /
  • User-Agent: indique quel robot est concerné par les lignes d'instructions suivantes. (* Pour tous les robots)
  • Disallow: Indique quelle page ou quel répertoire ne doit pas être indexé.
  • # Est une ligne de commentaire et ne sera pas interprétée.

Autres exemple de robots.txt

On interdit l'indexation de tout le site à tout les robots:
User-Agent: *
Disallow: /
On interdit l'indexation de toute les pages au robot googlebot et on l'autorise à tout les autres:
User-Agent: googlebot
Disallow: /
User-agent: *
Disallow: 


Imprimer cette publication




Commentaires

Commentaires



Aucun commentaire

Ajouter un commentaire

Vous devez être membre pour commenter cet article.

>> Inscrivez-vous





Faire un lien | Partenaires ©2005-2008 Rudy Onfroy Tous droits réservés Contact | RSS | Plan | Haut