Fichier Robots.txt

Qu’est-ce que le fichier robots.txt ?
A quoi sert le fichier robots.txt ?
Comment créer un fichier robots.txt

. Chapitre 3. Point 1

Qu’est-ce que le fichier robots.txt ?

Vous souhaitez que la majorité de vos pages soient bien indexées par les robots ou spiders des moteurs de recherche. Néanmoins, vous désirez que certaines pages, celles qui sont confidentielles ou en travaux, ne soient pas diffusées largement sur les moteurs de recherche. En mettant en place un fichier seo robots.txt vous empêchez les spiders de prendre ces pages en considération lorsqu’ils parcourent votre site web à la recherche de pages à indexer dans la base de données du moteur de recherche. »

A quoi sert le fichier robots.txt ?

Le fichier robots.text est situé à la racine de votre site pour donner des consignes aux robots d’exploration des moteurs de recherche. Ce fichier utilise le protocole d’exclusion des robots pour leur demander de ne pas explorer des parties de votre site. »

Comment créer un fichier robots.txt

Un fichier robots.txt contribue en partie à protéger certains contenus de votre site internet de l’indexation des moteurs de recherches et à limiter la saturation de votre serveur. L’établissement d’un tel fichier nécessite toutefois quelques connaissances préalables. Voici, pour vous aider, quelques bases indispensables pour la création d’un fichier seo robots.txt. » Vous aimerez aussi : → →

Articles similaires