Googlebot : comment le robot de Google explore votre site
Comprenez le fonctionnement de Googlebot, ses limites techniques et comment contrôler son accès à votre site pour un SEO maîtrisé.
Googlebot est le nom générique du robot d’exploration de la recherche Google. Il en existe deux variantes : Googlebot Smartphone, qui simule un utilisateur mobile, et Googlebot Desktop, qui simule un utilisateur sur ordinateur. Pour la plupart des sites, Google indexe en priorité la version mobile du contenu, selon le principe de l’indexation orientée mobile : la majorité des explorations passe donc par le robot pour mobile, le robot pour ordinateur restant minoritaire.
Comprendre Googlebot est essentiel en SEO, car c’est lui qui découvre et télécharge vos pages avant toute indexation. Il trouve de nouvelles URL principalement en suivant les liens des pages déjà explorées. Connaître son comportement, ses limites et la façon de contrôler son accès vous permet de vous assurer que vos contenus stratégiques sont bien lus, et que vos ressources serveur ne sont pas sollicitées inutilement.
Ce que je regarde en premier sur un site, c’est la version mobile, parce que c’est elle que Googlebot explore et indexe en priorité. Beaucoup de problèmes d’exploration viennent en réalité de ressources bloquées par erreur dans le robots.txt, des fichiers JavaScript ou CSS dont Googlebot a besoin pour comprendre la page. Couper l’accès à ces ressources revient souvent à se tirer une balle dans le pied sans s’en rendre compte.
Comment Googlebot accède à votre site
En général, les accès de Googlebot sont espacés de plusieurs secondes en moyenne. Si votre serveur peine à répondre, vous pouvez réduire la vitesse d’exploration. Le robot applique aussi des limites de taille lors de la récupération des fichiers : au delà, il interrompt le téléchargement et n’envoie à l’indexation que la partie déjà récupérée. Le tableau suivant résume ses principales propriétés techniques.
| Propriété | Comportement de Googlebot | À retenir pour le SEO |
|---|---|---|
Variantes |
Smartphone et Desktop, même jeton dans le robots.txt |
Le robots.txt ne distingue pas les deux variantes |
Priorité d’indexation |
Version mobile privilégiée |
Soignez la parité de contenu mobile |
Limite par fichier |
2 premiers Mo d’un fichier compatible |
Placez le contenu important en début de fichier |
Limite PDF |
64 premiers Mo |
Allégez les PDF volumineux |
Ressources liées |
CSS et JavaScript récupérés séparément |
Chaque ressource est soumise à sa propre limite |
Fuseau horaire |
Heure du Pacifique depuis les IP américaines |
Utile pour lire vos journaux serveur |
Contrôler ou bloquer l'accès de Googlebot
Garder un site secret en évitant les liens est quasiment impossible : dès qu’un internaute suit un lien vers une page, son URL peut être enregistrée ailleurs. Pour réellement contrôler l’accès, le bon outil dépend de votre objectif, car exploration et indexation sont deux choses distinctes. Bloquer l’exploration n’empêche pas toujours l’URL d’apparaître dans les résultats.
| Objectif | Outil à utiliser | Effet |
|---|---|---|
Empêcher l’exploration d’une page |
Fichier robots.txt |
Googlebot ne télécharge pas la page |
Empêcher l’indexation d’une page |
Règle noindex |
La page n’apparaît pas dans les résultats |
Bloquer robots et utilisateurs |
Protection par mot de passe |
Accès interdit à tous |
L’en-tête user-agent de Googlebot est souvent falsifié par d’autres robots. Avant de bloquer un trafic suspect, vérifiez qu’il provient réellement de Google, via une résolution DNS inverse sur l’adresse IP source ou en confirmant qu’elle appartient aux plages d’adresses IP officielles de Googlebot. Bloquer Googlebot affecte toute la recherche Google, Discover, Images, Vidéo et Actualités.
À faire
- soigner la version mobile de vos pages
- placer le contenu clé en début de fichier
- réduire la vitesse d’exploration si le serveur sature
- valider l’origine d’un trafic avant de le bloquer
À éviter
- compter sur l’absence de liens pour cacher un site
- bloquer un robot sur la foi du seul user-agent
- ignorer les limites de taille de fichier
- confondre blocage de l’exploration et désindexation
Points clés à retenir
- Privilégiez une version mobile complète et identique au desktop
- Tenez compte des limites de taille lors du rendu
- Utilisez le robots.txt pour l'exploration, noindex pour l'indexation
- Vérifiez l'origine d'un trafic avant tout blocage
- Réduisez la vitesse d'exploration en cas de surcharge serveur
Googlebot découvre et télécharge vos pages avant toute indexation.
Quiz : testez vos connaissances
Quiz : testez vos connaissances
-
Quelle variante de Googlebot explore en priorité la plupart des sites ?
- Googlebot Smartphone, qui simule un utilisateur mobile
- Googlebot Desktop, qui simule un utilisateur sur ordinateur
- Une troisième variante dédiée aux images
Il existe Googlebot Smartphone et Googlebot Desktop. Pour la plupart des sites, Google privilégie la version mobile, donc la majorité des explorations passe par Googlebot Smartphone.
-
Comment s'assurer qu'une requête vient vraiment de Googlebot ?
- Se fier à l'en-tête user-agent annoncé par la requête
- Vérifier que la requête arrive en journée et non la nuit
- Effectuer une résolution DNS inverse ou vérifier les plages d'adresses IP officielles
L’en-tête user-agent de Googlebot est souvent falsifié. Pour valider l’origine, faites une résolution DNS inverse sur l’adresse IP ou vérifiez qu’elle figure dans les plages officielles de Google.
-
Le robots.txt permet-il de distinguer les deux variantes de Googlebot ?
- Non, les deux variantes utilisent le même jeton user-agent dans le robots.txt
- Oui, à condition d'ajouter une règle spécifique par variante
- Oui, chaque variante a son propre jeton dans le robots.txt
Dans le
robots.txt, les deux variantes partagent le même jeton user-agent. On ne peut les distinguer qu’à partir de l’en-tête user-agent de la requête réelle.
À propos de l'auteur
Besoin d'un accompagnement SEO ?
Vous voulez savoir si Googlebot explore efficacement vos pages importantes ? Étudions cela ensemble.