
A quoi sert le fichier Robots.txt ?

. Chapitre 3. Point 1
Le Robots.txt comporte des commandes permettant d’indiquer aux moteurs de recherche les parties qui ne seront pas explorées et le type de spiders auxquels le protocole d’exclusion s’applique. Mais concrètement, en quoi un tel fichier robots.txt peut-il vous servir ?
Le Robots txt pour contrôler le trafic d’exploration
Le fichier robots.txt vous permet de contrôler le trafic d’exploration de vos pages web. Grâce à lui, les robots d’exploration des moteurs de recherche tels que Google ne perdent pas de temps à parcourir les pages non importantes de votre site. Ce faisant, ils n’encombrent pas votre serveur. Notez toutefois que si vous souhaitez masquer une page de votre site des résultats de recherche Google, il n’est pas recommandé d’utiliser le fichier seo robots.txt. En effet, le protocole d’exclusion n’empêche pas l’indexation de vos pages, s’il existe sur le web des liens qui pointent sur votre page. Celle-ci apparait toujours sur les résultats des moteurs de recherche, sauf que son contenu, lui, reste inaccessible. Si vous tenez absolument à ce que la page n’apparaisse pas, vous pouvez utiliser d’autres techniques comme la balise noindex, par exemple.Le fichier Robots.txt pour éviter l’apparition des fichiers images dans les résultats de recherche
Le fichier robots.txt peut aussi être utilisé pour empêcher l’apparition des fichiers images de votre site dans les résultats de rechercher Google. Bien que celles-ci n’apparaissent pas dans les résultats de recherche, les autres sites web et les internautes peuvent toujours utiliser des liens qui pointent vers ces images.Bloquer les fichiers de ressource avec le Robots.txt
Si vous estimez que leur absence n’affecte pas le chargement de vos pages, vous pouvez utiliser le fichier robots.txt pour bloquer les images script, les fichiers de style non important et autres fichiers ressources. Si vous trouvez toutefois que l’absence des ressources empêche les robots d’exploration de bien comprendre le contenu de la page, il est recommandé de ne pas les bloquer. Si vous le faites, les spiders des moteurs de recherche ne pourront pas analyser correctement les pages qui dépendent de ces ressources. Cela a pour conséquence d’empêcher l’indexation de ces pages.Les limites du fichier robots.txt
Avant de créer un fichier robots.txt, vous devez évaluer les risques liés à l’utilisation de cette méthode de blocage d’URL. Vous saurez ainsi si le fichier est la solution idéale pour assurer la protection de vos URL sur le web. Tout d’abord, gardez à l’esprit que les instructions que vous mettez dans vos fichiers robots.txt ne sont pas des règles, mais de simples consignes. En d’autres termes, les robots d’explorations peuvent ne pas les suivre. Si Googlebot et autres spiders sérieux respectent les instructions que vous mettez dans vos fichiers robots.txt, d’autres peuvent les contourner. Si vous désirez protéger les informations délicates et éviter leur récupération par les robots d’exploration, il est conseillé d’utiliser, en plus, d’autres méthodes de blocage comme la protection par mot de passe des fichiers privés installés sur votre serveur, par exemple.
Vous aimerez aussi :
→
→
Articles similaires
Référencement naturel
Search Generative Expérience, une révolution pour le SEO ?

Jeudi 14 Septembre, 2023
Lire cet article
Référencement naturel
Les recherches associées : Quel impact pour votre SEO ?

Mardi 22 Août, 2023
Lire cet article
Référencement naturel
Title Gate : pourquoi Google réécrit-il vos titres ?

Jeudi 10 Août, 2023
Lire cet article
Référencement naturel
Critère INP : quel impact pour les Core Web Vitals ?

Lundi 31 Juillet, 2023
Lire cet article
Référencement naturel
EEAT Google : comment répondre aux nouveaux critères ?

Mardi 25 Juillet, 2023
Lire cet article
Référencement naturel
Balise Alt SEO : Définition, rôle & optimisations

Lundi 06 Juin, 2022
Lire cet article
Référencement naturel
Comment utiliser Google Keyword Planner pour votre SEO ?

Lundi 06 Juin, 2022
Lire cet article
Référencement naturel
Core Vitals : l’UX comme indicateur de qualité pour Google

Lundi 06 Juin, 2022
Lire cet article
Référencement naturel
Core Web Vitals : Comment les améliorer ?

Samedi 04 Juin, 2022
Lire cet article
Référencement naturel
Infographie : Comment optimiser le SXO de son site web ?

Vendredi 25 Juin, 2021
Lire cet article
Référencement naturel
Infographie : Comment booster votre SEO sur Amazon ?

Jeudi 29 Avril, 2021
Lire cet article
Référencement naturel
Infographie : Comment booster votre SEO sur Youtube ?

Vendredi 09 Avril, 2021
Lire cet article
Référencement naturel
Infographie : Comment booster votre SEO local ?

Jeudi 18 Mars, 2021
Lire cet article
Référencement naturel
SEO - SEA - SEM : On vous dit tout !

Mercerdi 07 Octobre, 2020
Lire cet article
Référencement naturelRéférencement payant
Google Keyword Planner : utilité et prise en main

Mardi 23 Juin, 2020
Lire cet article
Référencement naturel
Infographie : Les meilleurs acteurs sur la recherche vocale #2

Jeudi 04 Juin, 2020
Lire cet article
Référencement naturel
Les 5 avantages clés d'une stratégie SEO & les 3 piliers du référencement

Mardi 02 Juin, 2020
Lire cet article
Référencement naturel
Infographie : Les meilleurs acteurs sur la recherche vocale #1

Mercerdi 27 Mai, 2020
Lire cet article
Référencement naturel
Google May Core Update 2020 : Mise à jour majeure de l'algorithme

Mercerdi 06 Mai, 2020
Lire cet article
Référencement naturel
Comment s'en sortir avec une pénalité Google ?

Mardi 28 Avril, 2020
Lire cet article
Référencement naturel
UX et SEO : Comment allier les 2 pour booster votre visibilité ?

Jeudi 23 Avril, 2020
Lire cet article
Référencement naturel
Qu'est ce que la recherche vocale ou vocal search ?

Vendredi 03 Avril, 2020
Lire cet article
Référencement naturel
La position 0 dans Google... Utile ou futile ?

Mardi 31 Mars, 2020
Lire cet article
Référencement naturel
Les microdonnées : utiles pour un meilleur référencement ?

Jeudi 26 Mars, 2020
Lire cet article
Référencement naturel
Comment est-ce-que la dégradation des contenus affecte votre SEO ? (content decay)

Mardi 17 Mars, 2020
Lire cet article
Référencement naturel
Boostez votre référencement grâce aux techniques off-site

Mardi 10 Mars, 2020
Lire cet article
Référencement naturel
Stratégie de netlinking & Topical Trust Flow (TTF)

Jeudi 05 Mars, 2020
Lire cet article
Référencement naturel
SEO : Pourquoi et comment être référencé dans Google Actualités ?

Mardi 25 Février, 2020
Lire cet article
Référencement naturel
Maillage interne : Avantages pour votre stratégie SEO

Mardi 11 Février, 2020
Lire cet article
Référencement naturel
Qu'est-ce que l'Answer Engine Optimization ou "moteur de réponse" Google ?

Mercerdi 29 Janvier, 2020
Lire cet article
Référencement naturel
SEO : Détectez l’intention de recherche derrière les mots-clés

Jeudi 23 Janvier, 2020
Lire cet article
Référencement naturel
9 tendances SEO que vous ne pouvez pas ignorer en 2020

Mardi 07 Janvier, 2020
Lire cet article
Référencement naturel
Infographie sur la recherche vocale : statistiques et constats

Jeudi 14 Novembre, 2019
Lire cet article
Référencement naturel
SEO : En quoi la tendance à la recherche visuelle fait-elle évoluer le référencement ?

Jeudi 14 Février, 2019
Lire cet article
Référencement naturel
Qu'est-ce qu'un PAA : People Also Ask?

Mercerdi 03 Janvier, 2018
Lire cet article
Référencement naturel
Les causes possibles pouvant freiner votre référencement naturel

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Quels sont les risques liés au passage en https ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Pourquoi le Javascript et l'Ajax posent-ils problème pour le référencement naturel ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Mon site est construit avec des frames, est-il possible d’optimiser son référencement naturel ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
La balise hreflang est-elle importante pour le référencement de mon site Internet ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Quels sont les freins techniques pour le référencement d’un site réalisé en Flash ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Pourquoi certains menus posent problème pour le référencement naturel ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Pourquoi les formulaires peuvent-ils freiner le référencement de mon site Internet ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
J’ai un site Internet réalisé en flash, est-il possible d’optimiser son référencement naturel sur Google ?

Jeudi 28 Décembre, 2017
Lire cet article
Référencement naturel
Quelles sont les sanctions et pénalités Google ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
La perte de position sur Google en référencement naturel

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Mon site a perdu ses positions QUE sur quelques mots clés, pourquoi ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Mon site a perdu toutes ses positions dans Google d’un seul coup, pourquoi ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Site blacklisté par Google : que faire ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Quelles sont les sanctions infligées par Google Panda ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Faut-il choisir un nom de domaine avec mes mots clés à l’intérieur pour être mieux référencé ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Que faut-il faire en cas de pénalité Google ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Comment savoir si mon site est pénalisé par Google ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
A quelles dates ont eu lieu les mises à jour Google Panda ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Que sont les filtres algorithmiques ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Pourquoi le Page Rank de mon site Internet a-t-il baissé ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
L’url rewriting est-elle importante pour le référencement naturel de mon site ?

Mercerdi 27 Décembre, 2017
Lire cet article
Référencement naturel
Référencement et création de site Internet

Vendredi 22 Décembre, 2017
Lire cet article
Référencement naturel
Qu’est-ce qu’un cocon sémantique ?

Vendredi 22 Décembre, 2017
Lire cet article
Référencement naturel
Pourquoi faut-il travailler la longue traîne en référencement naturel ?

Vendredi 22 Décembre, 2017
Lire cet article
Référencement naturel
Mon site vient d’être créé, Que dois-je faire pour le référencer ?

Jeudi 21 Décembre, 2017
Lire cet article
Référencement naturel
White Hat SEO, Black Hat SEO : de quoi s'agit-il ?

Jeudi 21 Décembre, 2017
Lire cet article
Référencement naturel
Optimisation de votre site pour le SEO

Jeudi 21 Décembre, 2017
Lire cet article
Référencement naturel
Pour aller plus loin en référencement naturel ….

Jeudi 21 Décembre, 2017
Lire cet article
Référencement naturel
Quels sont les meilleurs outils permettant de suivre les positions de mon site Internet en référencement naturel ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Suivre les résultats de votre référencement naturel

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Référencement des fichiers PDF / Word

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Généralités sur le référencement naturel

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Quels sont les différents types de Rich Snippet ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Comment améliorer sa visibilité sur Google ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Faut-il passer son site en mode sécurisé https ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Est-il possible de faire apparaître les sitelinks que l’on veut ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Comment être positionné en position 0 sur Google ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Comment savoir si la position 0 impact le trafic ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Comment savoir si une de mes pages s’affichent en position 0 ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Quels types d’informations s’affichent en position 0 ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Est-ce que je peux écrire du texte blanc sur fond blanc ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Est-ce que je peux cacher du texte dans les pages de mon site Internet ?

Mardi 19 Décembre, 2017
Lire cet article
Référencement naturel
Quelle est la différence entre référencement naturel et référencement payant ?

Lundi 18 Décembre, 2017
Lire cet article