Googlebot
Comment le robot de Google parcourt un site, comment repérer son passage, comment vérifier son authenticité.
Googlebot, le robot d’exploration de Google ou crawler de Google, parcourt le web de lien en lien. Il collecte les pages destinées à l’index de Google Search. Depuis le 5 juillet 2024, l’exploration est 100 % mobile-first via Googlebot Smartphone (Google Search Central). En SEO, tout commence par lui : une page qu’il ne peut pas explorer ne sera jamais positionnée.
Comment fonctionne Googlebot ?
Googlebot découvre les URL via les liens des pages déjà explorées et les sitemaps XML. Avant chaque exploration d’un site, Googlebot lit le fichier robots.txt et respecte ses directives. Le rythme de crawl s’ajuste tout seul. Un serveur rapide et stable voit sa fréquence d’exploration augmenter, un serveur lent ou en erreur la voit chuter. Depuis le 5 juillet 2024, toute l’exploration Search passe par Googlebot Smartphone. Googlebot Desktop ne subsiste que pour des tâches spécialisées, comme les fiches produits (Google Search Central, juin 2024). Googlebot est aussi un navigateur : sa version evergreen, basée sur Chromium, exécute le JavaScript et suit les mises à jour de Chrome. Les explorations partent d’adresses IP américaines. Chaque récupération est plafonnée à 2 Mo par fichier compatible ; au-delà, Googlebot tronque et n’indexe que la partie téléchargée (documentation Google Search Central).
Pourquoi Googlebot est important pour le SEO ?
Googlebot est la porte d’entrée de toute visibilité Google. Bloquer Googlebot affecte la recherche Google, mais aussi Discover, Google Images, Vidéo et Actualités (documentation Google Search Central). L’enjeu dépasse désormais le Search classique : les AI Overviews et AI Mode puisent dans l’index Search que Googlebot alimente. Google-Extended, souvent confondu avec lui, ne contrôle que l’usage des contenus pour Gemini et n’a aucun effet sur le classement. La portée de Googlebot reste sans équivalent : il a atteint 11,6 % des pages web uniques sur l’échantillon Cloudflare d’octobre et novembre 2025, contre 3,6 % pour GPTBot (Cloudflare Radar Year in Review, décembre 2025). Optimiser l’accueil de Googlebot est le socle du SEO technique. Trois leviers : un budget de crawl maîtrisé, un serveur rapide, un maillage interne propre.
| Critère | Googlebot | Google-Extended |
|---|---|---|
| Nature | Robot d’exploration réel, visible dans les logs | Simple jeton robots.txt, aucun crawl propre |
| Rôle | Alimente l’index Google Search et ses fonctionnalités | Contrôle l’usage des contenus pour Gemini |
| Impact du blocage | Disparition de Search, Discover, Images, Actualités | Aucun impact sur le classement Search |
| Trace dans les logs | User-Agent Googlebot présent | N’apparaît jamais, les requêtes viennent de Googlebot |
Comment savoir si Googlebot est passé sur mon site ?
Deux sources font foi : les logs serveur et la Search Console. Les logs enregistrent chaque visite de Googlebot avec son User-Agent, la page demandée et le code HTTP renvoyé. Le rapport Statistiques sur l’exploration de la Search Console couvre les 90 derniers jours : volume de requêtes, temps de réponse, répartition par code de statut (aide Google Search Console). L’analyse de logs reste la méthode la plus précise pour l’historique long terme et le détail URL par URL.
Comment vérifier qu’il s’agit du vrai Googlebot ?
Le User-Agent Googlebot est fréquemment usurpé par des scrapers (documentation Google Search Central). Deux contrôles fiables existent. La résolution DNS inverse de l’adresse IP doit pointer vers googlebot.com ou google.com. La comparaison avec les plages d’adresses IP officielles publiées par Google au format JSON confirme le verdict. Un visiteur qui se déclare Googlebot sans passer ces deux tests est un faux, à traiter comme n’importe quel bot indésirable.
Exemple concret de vérification de Googlebot
Googlebot se vérifie dans les logs serveur, jamais sur le seul User-Agent. Exemple : une requête se présente comme Googlebot, mais provient d’une adresse IP étrangère à Google. Le contrôle : récupérer l’IP dans les logs, lancer une résolution DNS inverse, vérifier que le domaine obtenu se termine par googlebot.com ou google.com, puis refaire la résolution en sens direct. Sans ce double contrôle, un scraper passe pour Googlebot.
# Exemple de contrôle DNS inverse
host 66.249.66.1# Le résultat doit pointer vers un domaine Google
# Exemple attendu : crawl-66-249-66-1.googlebot.com# Vérification directe
host crawl-66-249-66-1.googlebot.com# Le résultat doit revenir vers la même IPErreur fréquente observée en audit
Cas réel. En audit de logs, l’erreur fréquente consiste à filtrer les visites Googlebot uniquement sur la chaîne User-Agent. Des scrapers se déclarent « Googlebot » pour contourner les protections, aspirer des pages ou fausser l’analyse de crawl. La correction consiste à croiser trois éléments : User-Agent déclaré, résolution DNS inverse et plages IP officielles de Google. Sans ce contrôle, le reporting peut attribuer à Googlebot des requêtes qui ne viennent pas de lui.
Trois idées reçues sur Googlebot
Googlebot est décrit par des habitudes anciennes, alors que son fonctionnement a changé deux fois depuis 2019.
Googlebot n’exécute pas le JavaScript. Le Web Rendering Service rend les pages avec un Chromium evergreen depuis 2019. Le rendu arrive dans une seconde vague, après le crawl du HTML.
Googlebot explore les sites depuis un poste de bureau. L’exploration est passée à 100 % mobile-first le 5 juillet 2024. Googlebot Smartphone assure la totalité du crawl Search.
Un User-Agent Googlebot prouve le passage de Google. L’en-tête se falsifie en une ligne de code. Google recommande une vérification par reverse DNS.
Questions fréquentes
Googlebot exécute-t-il le JavaScript ?−
Oui, via le Web Rendering Service, un Chromium sans interface. Le rendu arrive dans une seconde vague, après le crawl du HTML brut. Un contenu injecté côté client attend donc ce passage pour être indexé.
Peut-on ralentir Googlebot sur son site ?+
La limite de fréquence a disparu de la Search Console. Google ajuste son rythme selon les temps de réponse et les erreurs 5xx. Un code 503 temporaire fait reculer le crawl, sans constituer une solution durable.
Combien d’adresses IP Googlebot utilise-t-il ?+
Google publie ses plages d’adresses dans un fichier JSON public. Ce fichier évolue, ce qui rend toute liste figée obsolète. Le reverse DNS reste la vérification recommandée.
Damien Hernandez
Consultant SEO senior, 17 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique, analyse de logs et optimisation pour les moteurs génératifs (GEO).
Sources
- 1Google Search Central, « Mobile-indexing-vLast-final-final.doc » · juin 2024 (bascule du 5 juillet 2024) consulter la source
- 2Google, « Présentation des robots d’exploration et fetchers de Google » consulter la source
- 3Cloudflare Radar, « 2025 Year in Review » · décembre 2025, part des bots vérifiés consulter la source
Faire expliquer ce terme par une IA
Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.