Crawl (exploration)
La première des trois étapes de la recherche Google : ce qui déclenche une exploration, et comment la vérifier.
Le crawl (exploration, crawling) est le processus par lequel les robots des moteurs de recherche découvrent et téléchargent les pages du web en suivant les liens et les sitemaps. Google le documente comme la première des trois étapes de la recherche, avant l’indexation et la diffusion. En SEO, sans crawl, aucune page ne peut apparaître dans les résultats.
Comment fonctionne le crawl ?
Le crawl suit un cycle documenté par Google. Le robot d’exploration part d’une liste d’URL connues, issues des explorations précédentes, des sitemaps XML et des liens découverts sur d’autres pages. Avant de visiter un site, le robot lit le fichier robots.txt à la racine : ce fichier est la convention par laquelle un site déclare les zones autorisées ou interdites à l’exploration. Le robot télécharge ensuite le HTML de chaque page, peut exécuter le JavaScript pour obtenir le rendu final, extrait le contenu et collecte tous les liens rencontrés, qui alimentent la file d’attente des prochaines explorations. Les données collectées par le crawl sont transmises à l’étape suivante, l’indexation, où Google analyse la page et décide de la stocker ou non dans son index. Une page explorée n’est donc pas automatiquement indexée.
Pourquoi le crawl est important pour le SEO ?
Le crawl conditionne toute la chaîne de visibilité : une page jamais explorée ne peut être ni indexée ni positionnée, quelle que soit sa qualité. Les freins au crawl sont d’abord techniques : blocage robots.txt trop large, erreurs serveur, pages orphelines sans lien entrant, profondeur excessive, contenu clé injecté en JavaScript non rendu. Sur les sites volumineux, la quantité de pages que Google accepte d’explorer est plafonnée par le budget de crawl. Depuis 2024-2025, le crawl ne concerne plus seulement Googlebot : les crawlers IA (GPTBot, ClaudeBot, PerplexityBot) explorent aussi les sites pour alimenter l’entraînement des modèles et les réponses génératives, avec leurs propres règles d’accès.
| Critère | Crawl | Indexation |
|---|---|---|
| Action | Découvrir et télécharger la page | Analyser la page et la stocker dans l’index |
| Acteur | Robot d’exploration (Googlebot) | Systèmes d’indexation de Google |
| Garantie | Une page liée ou dans un sitemap peut être explorée | Une page explorée n’est pas forcément indexée |
| Contrôle côté site | robots.txt, maillage, sitemap | noindex, canonical, qualité du contenu |
Quelle est la différence entre crawl et indexation ?
Le crawl est la découverte et le téléchargement d’une page par un robot, l’indexation est l’analyse et le stockage de cette page dans la base de données du moteur. Google documente les deux étapes comme distinctes et successives : une page explorée n’est pas garantie d’être indexée, et une page indexée n’est pas garantie d’être affichée. Le statut Détectée ou Explorée, actuellement non indexée de la Search Console matérialise exactement cette frontière entre crawl et indexation.
Comment savoir si Google a crawlé une page ?
Le crawl d’une page se vérifie par deux méthodes fiables. Dans Google Search Console, l’outil d’inspection d’URL affiche la date de la dernière exploration de la page, le code de réponse obtenu et le robot utilisé. Pour une vision exhaustive du crawl à l’échelle du site, les fichiers logs du serveur enregistrent chaque passage de robot avec l’URL, la date, le user-agent et le code HTTP retourné.
Exemple concret de vérification du crawl
Une vérification faible du crawl consiste à supposer qu’une page en ligne est explorable. La vérification solide teste la réponse réellement servie à un robot, car un serveur, un pare-feu ou une règle d’hébergeur peut répondre différemment selon le user-agent. La commande ci-dessous demande les en-têtes d’une page en se présentant comme Googlebot :
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.exemple.com/Un code 200 sur cette requête signifie que la page répond normalement au crawl. Un 403, un 429 ou une redirection inattendue signale un blocage de user-agent : ce type de blocage du crawl reste souvent invisible pour un visiteur humain et prive le site de toute exploration.
Erreur fréquente observée en audit
Cas réel. Sur un site voyage à fort volume, un mauvais pattern d’URL sur des sous-landings “tout inclus” a généré environ 14 000 pages inutiles. Ces pages étaient découvertes par Googlebot via les liens internes, alors qu’elles n’avaient pas vocation à devenir des pages SEO prioritaires. L’audit a permis d’isoler le pattern fautif, de nettoyer le maillage interne et de recentrer le crawl sur les pages commerciales canoniques.
Faire expliquer ce terme par une IA
Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.
Sources
- 1Google Search Central, Guide détaillé de la recherche Google · documentation officielle
- 2Google Search Central, Exploration et indexation · mise à jour décembre 2025
Questions fréquentes
À quelle fréquence Google explore-t-il un site ?−
La fréquence dépend de la demande d’exploration : popularité, fraîcheur, qualité perçue. Un site d’actualité reçoit des passages quotidiens, une page stable un passage mensuel. Le rapport Statistiques sur l’exploration donne la mesure réelle.
Peut-on demander à Google de crawler une page ?+
Oui, l’inspection d’URL de la Search Console propose une demande d’indexation. La file reste partagée, sans garantie de délai. Un sitemap à jour et un lien depuis une page explorée fréquemment restent plus fiables.
Un site sans lien entrant est-il crawlé ?+
Oui, via le sitemap XML soumis dans la Search Console. Google découvre aussi des URL depuis des pages déjà connues. Sans aucun lien ni sitemap, la découverte n’a aucun point de départ.
Damien Hernandez
Consultant SEO senior, 17 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique, analyse de logs et optimisation pour les moteurs génératifs (GEO).