robots.txt
Le robots.txt est un fichier texte placé à la racine d’un site qui indique aux robots des moteurs quelles parties ils peuvent ou non parcourir. Contrairement à une balise de page, il agit en amont sur l’accès et ne garantit pas, à lui seul, qu’une page disparaisse des résultats.
robots.txt : quel impact pour le SEO ?
Mal réglé, ce fichier peut bloquer par erreur des pages stratégiques ou, au contraire, laisser explorer ce que vous vouliez réserver. L’enjeu est de comprendre précisément son périmètre pour éviter les fausses manœuvres. Le point de départ est de saisir à quoi sert le robots.txt et surtout à quoi il ne sert pas, une nuance qui évite bien des erreurs de visibilité.
Ce fichier s’inscrit dans une gestion plus large de ce que Google voit de votre site. Voyez comment suspendre temporairement un site sans casser son SEO, comment retirer une page des résultats Google avec la bonne méthode, et comment empêcher certaines informations d’apparaître. Sur la durée, pensez à piloter votre SEO au-delà des bases.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.exemple.fr/sitemap_index.xml
Exemples
- Blocage d’un dossier d’administration : une règle
Disallowempêche les robots de parcourir l’espace de gestion d’un site, sans l’exposer dans les résultats. - Blocage accidentel : une mauvaise ligne peut interdire l’exploration de pages stratégiques, qui cessent alors d’être parcourues par les moteurs.
Quiz : testez vos connaissances
Quiz : testez vos connaissances
-
À quoi sert le fichier robots.txt ?
- À indiquer aux robots des moteurs quelles parties d'un site ils peuvent ou non parcourir
- À choisir la mise en page visible par les internautes
- À stocker les mots de passe des comptes du site
Le
robots.txtest un fichier placé à la racine du site qui indique aux robots quelles parties parcourir, en agissant en amont sur l’accès.Pour aller plus loin : Le fichier robots.txt : à quoi il sert (et à quoi il ne sert pas)
-
Pourquoi le robots.txt ne garantit-il pas, à lui seul, qu'une page disparaisse des résultats ?
- Parce qu'il agit sur l'accès des robots et non directement sur l'indexation, contrairement à une balise de page
- Parce qu'il supprime toujours instantanément la page de l'index
- Parce qu'il ne concerne que l'apparence de la page
Le
robots.txtagit sur l’accès en amont et, à la différence d’une balise de page, ne garantit pas à lui seul qu’une page disparaisse des résultats.Pour aller plus loin : Supprimer une de vos pages des résultats Google
-
Quel risque présente un robots.txt mal réglé ?
- Il peut bloquer par erreur des pages stratégiques ou laisser explorer ce que l'on voulait réserver
- Il transforme les pages bloquées en résultats enrichis
- Il améliore systématiquement le positionnement de toutes les pages
Mal réglé, le
robots.txtpeut bloquer des pages stratégiques ou laisser explorer des sections que l’on voulait réserver, d’où l’importance de cerner son périmètre.Pour aller plus loin : Piloter son SEO dans le temps : gérer un site au-delà des bases
Besoin d'accompagnement SEO ?
Nos experts vous aident à mettre en pratique.