Fichier Robots.txt

. Chapitre 3. Point 1
                    

Qu’est-ce que le fichier robots.txt ?

Vous souhaitez que la majorité de vos pages soient bien indexées par les robots ou spiders des moteurs de recherche. Néanmoins, vous désirez que certaines pages, celles qui sont confidentielles ou en travaux, ne soient pas diffusées largement sur les moteurs de recherche. En mettant en place un fichier seo robots.txt vous empêchez les spiders de prendre ces pages en considération lorsqu’ils parcourent votre site web à la recherche de pages à indexer dans la base de données du moteur de recherche. »

A quoi sert le fichier robots.txt ?

Le fichier robots.text est situé à la racine de votre site pour donner des consignes aux robots d’exploration des moteurs de recherche. Ce fichier utilise le protocole d’exclusion des robots pour leur demander de ne pas explorer des parties de votre site. »

Comment créer un fichier robots.txt

Un fichier robots.txt contribue en partie à protéger certains contenus de votre site internet de l’indexation des moteurs de recherches et à limiter la saturation de votre serveur. L’établissement d’un tel fichier nécessite toutefois quelques connaissances préalables. Voici, pour vous aider, quelques bases indispensables pour la création d’un fichier seo robots.txt. » Vous aimerez aussi : → →

Articles similaires

Référencement naturel Comment rédiger des titres percutants ?
Lire cet article
Référencement naturel ChatGPT après un an d’utilisation : le point sur mon aventure
Lire cet article
Référencement naturel Le VSEO ou le référencement naturel de ses vidéos
Lire cet article