Qu’est-ce que le fichier robots.txt ?
Partie 1. Chapitre 3. Point 1
Le fichier Robots.txt
Le principe du fichier robots.txt
Le fichier robots.txt est un fichier texte que vous insérez à la racine de votre site. Il liste un certain nombre de consignes à destination des moteurs de recherche. C’est d’ailleurs pour cette raison qu’il porte le nom de robots txt. Ce fichier vous permet donc de guider les crawlers lors de leur passage sur votre site. Vous avez le choix entre deux commandes différentes : l’user-agent et le disallow. Si vous optez pour l’user-agent, vous précisez à quel crawler la consigne va s’appliquer. Si vous le souhaitez, vous pouvez ainsi choisir d’appliquer la consigne uniquement aux spiders de Google, de Bing ou à l’ensemble des moteurs de recherche. Le disallow est, quant à lui, une commande empêchant les robots de circuler sur telle ou telle page de votre site. À titre exemple, si vous mettez Disallow:/images/ dans votre fichier seo robots txt, cela signifie que les spiders des différents moteurs de recherche ne peuvent parcourir le dossier images de votre site.
Le robots.txt, différent de la balise noindex
Certains confondent le robots.txt avec la balise noindex. Pourtant, il s’agit de deux choses assez différentes. Le noindex est une balise qui interdit complètement l’accès aux pages aux robots d’indexation. Ainsi, contrairement au robots.txt où les robots peuvent toujours connaitre l’existence d’une page si un lien pointe vers elle, le noindex, n’indexe en aucun cas l’URL, et ce, même s’il existe des liens qui pointent dessus.
L’utilité du fichier robots.txt
Si vous désirez modifier le circuit des spiders, mettre en place un fichier robots.txt est indispensable. Si ce fichier est absent, les robots des moteurs de recherche parcourent toutes les pages de votre site. Notez toutefois que si les robots d’indexation ne peuvent pas lire le contenu de vos pages, cela ne signifie pas qu’elles ne les voient pas. Ainsi, si un lien pointe vers ces pages, elles peuvent être indexées.
Mettre en place un fichier robots.txt vous permet d’améliorer la sécurité de votre site. Grâce à un fichier robots.txt, vous interdisez l’indexation de données confidentielles comme les coordonnées de vos clients, par exemple. Vous évitez ainsi que ces informations délicates ne soient accessibles à tous les internautes.
Un fichier robots.txt est aussi intéressant dans la mesure où vous pouvez maitriser l’indexation de votre site internet. En effet, vous évitez que les pages peu pertinentes comme les conditions générales de vente ou les mentions légales ne soient répertoriées par les crawlers. Le fichier robots.txt évite aussi la création d’un duplicate content en empêchant les spiders de passer sur des pages au contenu identique. Cette maitrise de l’indexation n’est pas à prendre à la légère puisqu’elle est d’une importance capitale dans votre stratégie SEO.
Vous aimerez aussi :
→ A quoi sert le fichier robots.txt ?
→ Comment créer un fichier robots.txt