Crawler
Ce qu’est un robot d’exploration, comment il s’annonce, et pourquoi la majorité du trafic étiqueté robot n’en est pas un.
Un crawler, ou robot d’exploration, est un programme qui parcourt le web de lien en lien pour récupérer des pages sans qu’un humain les demande une par une. Il s’annonce par une chaîne de texte appelée User-Agent, qui est déclarative et donc imitable. Explorer n’est pas indexer : un crawler collecte, ce qu’un moteur en fait ensuite est une décision distincte.
Comment un crawler parcourt-il un site ?
Il entretient une file d’attente d’adresses et la déroule. Il part d’un ensemble d’URL connues, souvent alimenté par un plan de site et par les liens déjà rencontrés, télécharge chaque page, en extrait les liens, ajoute au passage ceux qu’il ne connaissait pas, puis recommence. Cette mécanique explique deux propriétés qui comptent en référencement. D’abord, une page sans aucun lien entrant et absente du plan de site n’entre jamais dans la file : elle n’est pas mal classée, elle est invisible. Ensuite, le rythme n’est pas illimité. Un moteur ajuste sa cadence à ce que le serveur supporte et à l’intérêt qu’il porte au site, ce que Google appelle le budget d’exploration et qu’il documente comme un sujet réservé aux sites de grande taille ou à forte production de pages.
Explorer n’est pas indexer
La confusion des deux verbes est la source d’une bonne moitié des diagnostics erronés. L’exploration est un acte technique : le robot demande l’adresse, le serveur répond. L’indexation est une décision du moteur, prise après coup, sur le contenu obtenu. Une page peut donc être explorée sans jamais être indexée, cas suffisamment courant pour que Search Console lui consacre un état dédié. Elle peut aussi être indexée sans avoir été explorée, quand le moteur connaît son existence par des liens externes mais que le fichier robots.txt lui en interdit la lecture : il affiche alors l’adresse sans savoir ce qu’elle contient. Cette dernière situation est le contre-exemple qui règle un malentendu tenace : le robots.txt règle l’exploration, il ne règle pas l’indexation.
Ce que le fichier robots.txt peut, et ne peut pas
Le protocole d’exclusion des robots est devenu une norme publiée en 2022, la RFC 9309, après vingt-cinq ans d’usage informel. Elle décrit un fichier texte placé à la racine, composé de groupes de règles, chaque groupe visant un ou plusieurs identifiants de robots. Deux limites y sont inscrites. La première est que le respect du fichier repose sur la bonne volonté du client : la norme décrit un protocole, elle ne le fait pas appliquer. Un robot qui l’ignore n’enfreint aucune barrière technique. La seconde est qu’un groupe s’adresse à des identifiants précis, et que certains robots ne se reconnaissent pas dans le groupe générique. Sur un site donné, une interdiction écrite pour tous peut donc laisser passer un robot particulier, simplement parce qu’il attend son nom.
N’importe quel client peut envoyer la chaîne de Googlebot, et beaucoup le font. Google publie deux méthodes de vérification, et toutes deux passent par l’adresse IP : la résolution DNS inverse suivie d’une résolution directe, ou la comparaison aux plages d’adresses publiées en JSON. Une règle de sécurité, une exception de pare-feu ou une statistique bâtie sur le seul User-Agent repose donc sur une déclaration invérifiée.
Tous les robots d’un moteur ne se valent pas
Google en distingue trois familles, et la distinction change ce qu’on peut leur opposer. Les robots communs, dont Googlebot, servent à construire l’index et respectent le fichier robots.txt. Les robots à cas particuliers servent des fonctions précises, sur accord entre le site et le produit concerné, et peuvent ignorer les règles générales. Les récupérateurs déclenchés par un utilisateur agissent parce qu’une personne l’a demandé, ce qui les dispense de suivre le robots.txt. À cela s’ajoutent les crawlers d’IA, dont l’identification et les règles d’opposition sont propres à chaque éditeur et évoluent vite. La conséquence pratique est qu’un site n’a pas un trafic de robots mais plusieurs, avec des intentions et des droits différents, et qu’une analyse qui les agrège perd exactement l’information utile.
Le crawler du moteur et le crawler d’audit
Le mot recouvre deux objets différents, et l’ambiguïté explique une bonne partie des malentendus en référencement naturel. Le premier est le robot d’un moteur de recherche, que l’on subit et que l’on ne pilote pas : on peut lui donner des consignes, pas des ordres. Le second est un outil d’audit que l’on lance soi-même sur son propre site pour en analyser la structure, un logiciel de bureau ou un service en ligne qui parcourt les URL et restitue un rapport. Les deux parcourent des pages, mais leur usage n’a rien de commun. Le crawler d’audit sert à voir ce qu’un moteur pourrait rencontrer : profondeur des pages, chaînes de redirections, balises manquantes, contenu dupliqué, liens internes cassés. Il ne prouve pas ce qui a été réellement exploré, il simule. C’est pourquoi une analyse technique sérieuse croise trois sources qui ne disent pas la même chose : le crawl d’audit, qui montre ce que la structure permet, les journaux du serveur, qui montrent ce qui s’est réellement passé, et Search Console, qui montre ce que Google a retenu. Un site peut être parfait au crawl d’audit et pratiquement pas exploré dans les faits.
Cas mesuré sur un site en production
Mesure du 3 septembre 2026. Sur un site vitrine d’une centaine de pages, les journaux de sept jours comptent 127 872 requêtes classées comme robots. Sur ce total, 118 927 visent une seule adresse, qui n’est aucune des pages du site, avec un User-Agent WordPress et une réponse 200 : 93,0 % du volume, environ 17 000 appels par jour, pour un point de terminaison de vérification de licence appelé par d’autres serveurs. Pendant la même semaine, Googlebot totalise 71 requêtes toutes déclinaisons confondues, soit 0,1 %, réparties en 36 pour la version bureau, 27 pour la version mobile, 7 pour GoogleOther et 1 pour les images. Les robots des moteurs génératifs en cumulent 537, soit sept fois et demie plus que Google. La leçon tient en une phrase : ce que les journaux appellent un robot n’est pas nécessairement un explorateur, et le premier travail d’une analyse de logs est de séparer ce qui parcourt le site de ce qui frappe une seule URL. Compter les hits sans faire ce tri aurait fait conclure à une exploration intense d’un site que Googlebot visite en réalité une dizaine de fois par jour.
Faire expliquer ce terme par une IA
Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.
Sources
- 1IETF, RFC 9309 Robots Exclusion Protocol : la norme du fichier robots.txt
- 2Google Search Central, Overview of Google crawlers : les trois familles de robots
- 3Google Search Central, Verifying Googlebot : vérification par adresse IP
- 4Google Search Central, Managing crawl budget : cadence d’exploration et limites
Questions fréquentes
Quelle différence entre crawler, spider et robot ?−
Aucune sur le fond, ce sont trois noms pour le même objet. « Robot » est le terme employé par la norme d’exclusion, « crawler » celui de la documentation technique, « spider » un usage plus ancien. Le nom ne dit rien de l’intention du programme.
Comment bloquer un crawler indésirable ?+
Le fichier robots.txt le demande, il ne l’impose pas : un robot qui l’ignore passe quand même. Un blocage réel se pose au niveau du serveur, sur l’adresse IP plutôt que sur le User-Agent, puisque celui-ci se recopie. Reste à mesurer ce que ce blocage coûte avant de le poser.
Comment savoir si un Googlebot est authentique ?+
Par l’adresse IP. Google documente la résolution DNS inverse suivie d’une résolution directe, et publie ses plages d’adresses en JSON. Un contrôle fondé sur la seule chaîne de User-Agent laisse passer tout client qui la recopie.
Un site peut-il être indexé sans être exploré ?+
Oui. Si le robots.txt interdit la lecture d’une page mais que des liens externes la désignent, le moteur peut en afficher l’adresse sans en connaître le contenu. Pour empêcher l’affichage, la consigne se pose dans la page ou dans les en-têtes, pas dans le robots.txt.
Où voir quels robots passent sur mon site ?+
Dans les journaux du serveur, seule source qui voit tous les demandeurs. Search Console ne rapporte que l’activité de Google, et les outils de mesure d’audience installés dans les pages ne voient presque aucun robot, puisque la plupart n’exécutent pas leur script.
Damien Hernandez
Consultant SEO senior, 17 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique, analyse de logs et optimisation pour les moteurs génératifs (GEO).