Mis à jour le 8 juillet 2026 · Relu et vérifié par Damien Hernandez
Crawl (exploration) : définition, rôle et bonnes pratiques SEO
Le crawl (exploration, crawling) est le processus par lequel les robots des moteurs de recherche découvrent et téléchargent les pages du web en suivant les liens et les sitemaps. Google le documente comme la première des trois étapes de la recherche, avant l’indexation et la diffusion. En SEO, sans crawl, aucune page ne peut apparaître dans les résultats.
À retenir
- La recherche Google fonctionne en trois étapes : exploration, indexation, diffusion. Toutes les pages ne franchissent pas chaque étape (Google Search Central).
- Google ne dispose d’aucun registre central des URL du web : la découverte des pages passe par les liens et les sitemaps (Google Search Central).
- Google déclare n’accepter aucun paiement pour explorer un site plus fréquemment ou améliorer son classement (guide Fonctionnement de la recherche).
Comment fonctionne le crawl ?
Le crawl suit un cycle documenté par Google. Le robot d’exploration part d’une liste d’URL connues, issues des explorations précédentes, des sitemaps XML et des liens découverts sur d’autres pages. Avant de visiter un site, le robot lit le fichier robots.txt à la racine : ce fichier est la convention par laquelle un site déclare les zones autorisées ou interdites à l’exploration. Le robot télécharge ensuite le HTML de chaque page, peut exécuter le JavaScript pour obtenir le rendu final, extrait le contenu et collecte tous les liens rencontrés, qui alimentent la file d’attente des prochaines explorations. Les données collectées par le crawl sont transmises à l’étape suivante, l’indexation, où Google analyse la page et décide de la stocker ou non dans son index. Une page explorée n’est donc pas automatiquement indexée.
Pourquoi le crawl est important pour le SEO ?
Le crawl conditionne toute la chaîne de visibilité : une page jamais explorée ne peut être ni indexée ni positionnée, quelle que soit sa qualité. Les freins au crawl sont d’abord techniques : blocage robots.txt trop large, erreurs serveur, pages orphelines sans lien entrant, profondeur excessive, contenu clé injecté en JavaScript non rendu. Sur les sites volumineux, la quantité de pages que Google accepte d’explorer est plafonnée par le budget de crawl. Depuis 2024-2025, le crawl ne concerne plus seulement Googlebot : les crawlers IA (GPTBot, ClaudeBot, PerplexityBot) explorent aussi les sites pour alimenter l’entraînement des modèles et les réponses génératives, avec leurs propres règles d’accès.
| Critère | Crawl | Indexation |
|---|---|---|
| Action | Découvrir et télécharger la page | Analyser la page et la stocker dans l’index |
| Acteur | Robot d’exploration (Googlebot) | Systèmes d’indexation de Google |
| Garantie | Une page liée ou dans un sitemap peut être explorée | Une page explorée n’est pas forcément indexée |
| Contrôle côté site | robots.txt, maillage, sitemap | noindex, canonical, qualité du contenu |
Google explore-t-il vos bonnes pages ? Audit technique
Quelle est la différence entre crawl et indexation ?
Le crawl est la découverte et le téléchargement d’une page par un robot, l’indexation est l’analyse et le stockage de cette page dans la base de données du moteur. Google documente les deux étapes comme distinctes et successives : une page explorée n’est pas garantie d’être indexée, et une page indexée n’est pas garantie d’être affichée. Le statut Détectée ou Explorée, actuellement non indexée de la Search Console matérialise exactement cette frontière entre crawl et indexation.
Comment savoir si Google a crawlé une page ?
Le crawl d’une page se vérifie par deux méthodes fiables. Dans Google Search Console, l’outil d’inspection d’URL affiche la date de la dernière exploration de la page, le code de réponse obtenu et le robot utilisé. Pour une vision exhaustive du crawl à l’échelle du site, les fichiers logs du serveur enregistrent chaque passage de robot avec l’URL, la date, le user-agent et le code HTTP retourné.
Exemple concret de vérification du crawl
Une vérification faible du crawl consiste à supposer qu’une page en ligne est explorable. La vérification solide teste la réponse réellement servie à un robot, car un serveur, un pare-feu ou une règle d’hébergeur peut répondre différemment selon le user-agent. La commande ci-dessous demande les en-têtes d’une page en se présentant comme Googlebot :
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.exemple.com/Un code 200 sur cette requête signifie que la page répond normalement au crawl. Un 403, un 429 ou une redirection inattendue signale un blocage de user-agent : ce type de blocage du crawl reste souvent invisible pour un visiteur humain et prive le site de toute exploration.
Erreur fréquente observée en audit
Cas réel. Sur un site voyage à fort volume, un mauvais pattern d’URL sur des sous-landings “tout inclus” a généré environ 14 000 pages inutiles. Ces pages étaient découvertes par Googlebot via les liens internes, alors qu’elles n’avaient pas vocation à devenir des pages SEO prioritaires. L’audit a permis d’isoler le pattern fautif, de nettoyer le maillage interne et de recentrer le crawl sur les pages commerciales canoniques.
Sources
- Google Search Central, Guide détaillé de la recherche Google · documentation officielle
- Google Search Central, Exploration et indexation · mise à jour décembre 2025
Termes liés
Damien Hernandez · Consultant SEO senior, 15 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique et GEO (optimisation pour les moteurs génératifs).