Partie 1. Chapitre 3. Point 1

Les actions de base à réaliser pour le référencement

Qu’est-ce que le fichier robots.txt ?

Vous souhaitez que la majorité de vos pages soient bien indexées par les robots ou spiders des moteurs de recherche. Néanmoins, vous désirez que certaines pages, celles qui sont confidentielles ou en travaux, ne soient pas diffusées largement sur les moteurs de recherche. En mettant en place un fichier seo robots.txt vous empêchez les spiders de prendre ces pages en considération lorsqu’ils parcourent votre site web à la recherche de pages à indexer dans la base de données du moteur de recherche.

» Tout savoir sur le fichier Robots.txt

A quoi sert le fichier robots.txt ?

Le fichier robots.text est situé à la racine de votre site pour donner des consignes aux robots d’exploration des moteurs de recherche. Ce fichier utilise le protocole d’exclusion des robots pour leur demander de ne pas explorer des parties de votre site.

» Tout savoir sur l’utilisation du fichier Robots.txt

Comment créer un fichier robots.txt

Un fichier robots.txt contribue en partie à protéger certains contenus de votre site internet de l’indexation des moteurs de recherches et à limiter la saturation de votre serveur. L’établissement d’un tel fichier nécessite toutefois quelques connaissances préalables. Voici, pour vous aider, quelques bases indispensables pour la création d’un fichier seo robots.txt.

» Tout savoir sur comment créer un fichier Robots.txt

Vous aimerez aussi :
Google Search Console
Le fichier Sitemaps.xml