Crawl-delay

La directive du robots.txt qui demande aux robots d’espacer leurs requêtes : qui la respecte, ce que Google fait à la place, et pourquoi elle ne sert à rien contre un robot qui ne lit pas le fichier.

Mis à jour le · Écrit et vérifié par Damien Hernandez

Définition courte · 67 mots

Le crawl-delay est une directive non standard du robots.txt qui demande à un robot d’attendre un délai, en secondes, entre deux requêtes. Google l’ignore : son robots.txt n’accepte que user-agent, allow, disallow et sitemap. Bing et ClaudeBot disent la respecter, chacun à sa façon. Elle ne règle donc pas la vitesse d’exploration en général, seulement celle des robots qui lisent le fichier et ont choisi de l’appliquer.

À retenir

  1. 01

    La norme du robots.txt, la RFC 9309 de septembre 2022, ne contient pas Crawl-delay : chaque éditeur de robot décide s’il la lit et comment.

  2. 02

    Pour ralentir Googlebot, Google demande de renvoyer des codes 500, 503 ou 429 pendant quelques heures, jamais plus d’un ou deux jours.

  3. 03

    Un groupe propre à un robot remplace le groupe « * » pour ce robot : ajouter un Crawl-delay pour lui seul peut effacer ses Disallow.

Sur cette page
  1. Qu’est-ce que le crawl-delay ?
  2. Que signifie Crawl-delay: 10 ?
  3. Quels moteurs et robots respectent le crawl-delay ?
  4. Comment ralentir Googlebot, puisqu’il l’ignore ?
  5. Comment configurer le crawl-delay sans casser son robots.txt ?
  6. Cas mesuré : le robot le plus actif ne lit jamais le robots.txt
  7. Questions fréquentes
  8. Sources
  9. Faire expliquer par une IA

Qu’est-ce que le crawl-delay ?

C’est une ligne du fichier robots.txt, placée dans le groupe d’un user-agent, qui fixe un temps d’attente entre deux requêtes du même crawler. Elle est née comme une extension, reprise par certains moteurs, et n’a jamais rejoint le protocole : la RFC 9309, publiée par l’IETF en septembre 2022, ne définit que les règles allow et disallow, rattachées à des groupes de user-agent, et laisse chaque robot libre d’interpréter d’autres lignes. Le crawl-delay ne bloque rien et ne retire aucune page de l’index. Il agit seulement sur le rythme, et seulement chez les robots qui l’ont adopté. C’est la différence avec Disallow, que la norme définit et que chaque robot conforme doit appliquer.

Que signifie Crawl-delay: 10 ?

Dans la lecture la plus courante, dix secondes au moins entre deux requêtes, soit 8 640 requêtes par jour au plus pour ce robot. Ce n’est pas la seule lecture. Bing a écrit en 2009 que la valeur exprime un degré relatif de ralentissement par rapport à la cadence par défaut de son robot, que plus elle est haute, plus l’exploration ralentit, et a déconseillé toute valeur supérieure à 10. Anthropic donne comme exemple Crawl-delay: 1 pour ClaudeBot. La même ligne ne produit donc pas le même effet d’un robot à l’autre, et aucun ne s’engage sur une formule. Le calcul en secondes reste utile pour une chose : estimer le temps qu’un robot discipliné mettrait à parcourir le site. Avec 10 secondes, un site de 300 pages se parcourt en moins d’une heure ; un catalogue de 500 000 URL demanderait près de 58 jours pour un seul passage.

Faire lire vos journaux serveur robot par robot →

Quels moteurs et robots respectent le crawl-delay ?

RobotCrawl-delayCe que dit l’éditeur
GooglebotIgnoréSeuls user-agent, allow, disallow et sitemap sont acceptés (documentation mise à jour le 11 septembre 2026).
BingbotRespectéValeur entière positive, ralentissement relatif, pas au-delà de 10 (blog Bing, 2009).
ClaudeBotRespectéExtension non standard prise en charge « pour limiter l’activité d’exploration » (aide Anthropic).
Autres robotsÀ vérifierChercher la mention dans la documentation de l’éditeur. Sans mention, rien ne permet de supposer qu’il l’applique.

Le tableau s’arrête volontairement aux éditeurs qui écrivent noir sur blanc ce qu’ils font. Les listes qui circulent attribuent la directive à des dizaines de robots sans renvoyer à leur documentation : c’est le genre d’affirmation qu’il vaut mieux vérifier dans les journaux du site qu’admettre sur parole.

Comment ralentir Googlebot, puisqu’il l’ignore ?

Par les réponses du serveur. Google demande, en cas d’urgence, de renvoyer un code HTTP 500, 503 ou 429 au lieu de 200 aux requêtes d’exploration, pendant une courte période : quelques heures, un à deux jours. Au-delà, il le déconseille. Quand le serveur ne peut pas renvoyer ces codes, un formulaire de demande spéciale existe, et Google précise qu’on ne peut pas s’en servir pour demander une exploration plus rapide. L’ancien limiteur de vitesse de la Search Console a été retiré le 8 janvier 2024. En pratique, Googlebot est rarement la cause d’une surcharge sur un petit site : il ralentit de lui-même quand le serveur répond lentement ou en erreur, ce qui touche d’abord le budget de crawl des grands sites.

Comment configurer le crawl-delay sans casser son robots.txt ?

En recopiant les règles du groupe général dans le groupe du robot visé. Un robot n’obéit qu’à un seul groupe, celui qui le nomme, et ne retombe sur le groupe « * » que si aucun ne le nomme : c’est la règle de la RFC 9309, et Google applique la même. Le piège classique consiste à ajouter un groupe propre à ClaudeBot qui ne contient que Crawl-delay. Pour ce robot, les Disallow du groupe général cessent alors de s’appliquer, et des répertoires jusque-là fermés lui redeviennent ouverts. La forme sûre répète les interdictions :

User-agent: * Disallow: /recherche/ Disallow: /panier/User-agent: ClaudeBot Crawl-delay: 5 Disallow: /recherche/ Disallow: /panier/

Deux précautions complètent la règle. Choisir la valeur en partant de la cadence réellement observée dans les fichiers de logs, pas d’une valeur lue ailleurs : un délai trop long sur un gros site retarde la découverte des nouvelles pages chez les moteurs qui l’appliquent, donc leur indexation. Et contrôler l’effet après une semaine, robot par robot : si la cadence ne bouge pas, le robot n’applique pas la directive, ou ne lit pas le fichier.

Cas mesuré : le robot le plus actif ne lit jamais le robots.txt

Cas réel · CAS MESURÉ : LE ROBOT LE PLUS ACTIF NE LIT JAMAIS LE ROBOTS.TXT

Relevé du 13 octobre 2026. Sur un site vitrine de conseil en référencement d’environ 300 URL, sans Crawl-delay dans son robots.txt, les journaux serveur de 28 jours (du 15 septembre au 12 octobre 2026) comptent 20 998 requêtes de 36 robots identifiés, agents usurpés exclus. Le premier par le volume, Meta-ExternalAgent, pèse 6 505 requêtes, soit 31 %, avec un pic de 734 en une journée. Il n’a jamais demandé le robots.txt sous son nom : zéro lecture sur 9 999 requêtes depuis le début des journaux, le 28 août. Une directive ne le freinerait donc pas. ClaudeBot, dont l’éditeur annonce qu’il respecte la directive, a lu le fichier 253 fois pour 1 004 requêtes. 54 % de ses intervalles entre deux requêtes font moins de 10 secondes, avec 31 requêtes dans la même minute au plus fort. Mais son maximum quotidien, 134 requêtes, reste très loin des 8 640 qu’un délai de 10 secondes autoriserait : la directive lisserait ses rafales, pas son volume. Googlebot, qui l’ignore, n’a fait que 341 requêtes, 18 par jour au plus. Bingbot, 789 requêtes, ne dépasse jamais 3 requêtes par minute (relevé : journaux serveur agrégés dans Historizer, agents déclarés, Googlebot et Bingbot vérifiés par leur adresse IP, les autres non).

Avant d’écrire la directive

Une charge serveur se diagnostique robot par robot, dans les journaux. Si le robot en cause ne lit pas le robots.txt, le crawl-delay n’a aucune prise, et le levier est ailleurs : un blocage par user-agent au niveau du serveur ou du pare-feu applicatif. S’il le lit et documente la directive, le crawl-delay est la réponse la plus douce. S’il s’agit de Googlebot, ce sont les codes de réponse, et seulement pour quelques heures.

Questions fréquentes

Le crawl-delay affecte-t-il l’indexation ?

Pas chez Google, qui l’ignore. Chez les moteurs qui l’appliquent, un délai long ralentit la découverte des nouvelles pages et des mises à jour. Sur un petit site, l’effet est négligeable ; sur un catalogue de centaines de milliers d’URL, il peut retarder un passage complet de plusieurs semaines.

Faut-il mettre un crawl-delay par défaut ?

Non. La directive répond à une charge mesurée, causée par un robot identifié qui la respecte. Sans charge constatée dans les journaux, elle ne fait que ralentir les robots qui jouent le jeu.

Quelle valeur choisir ?

Aucune valeur n’est bonne en soi. Bing déconseille de dépasser 10 et Anthropic donne 1 en exemple. Le bon point de départ est la cadence observée du robot : viser à lisser ses rafales sans plafonner un volume quotidien qui ne gêne pas le serveur.

La Search Console permet-elle encore de régler la vitesse de Googlebot ?

Non. Le limiteur de vitesse d’exploration a été retiré le 8 janvier 2024. Il reste les codes de réponse 500, 503 ou 429 pendant une courte période, et un formulaire pour les situations exceptionnelles.

Le crawl-delay peut-il bloquer un robot ?

Non, il ne fait qu’espacer les requêtes. Pour fermer l’accès, c’est Disallow, et pour un robot qui ignore le robots.txt, un blocage par user-agent côté serveur.

Sources primaires

  1. [1]Google Search Central, comment Google interprète la spécification robots.txt, mis à jour le 11 septembre 2026consulter ↗
  2. [2]Google Search Central, réduire la vitesse d’exploration de Googlebot, mis à jour le 12 octobre 2026consulter ↗
  3. [3]Google Search Central Blog, retrait du limiteur de vitesse d’exploration de la Search Console, 24 novembre 2023consulter ↗
  4. [4]Bing Webmaster Blog, Crawl delay and the Bing crawler, MSNBot, 10 août 2009consulter ↗
  5. [5]Aide Anthropic, exploration du web par Anthropic et blocage de ses robotsconsulter ↗
  6. [6]IETF, RFC 9309, Robots Exclusion Protocol, septembre 2022consulter ↗

Faire expliquer ce terme par une IA

prompt pré-rempli

Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.

Damien Hernandez, consultant SEO senior
Auteur

Damien Hernandez

Consultant SEO senior, 17 ans d'expérience (Accor, Louvre Hotels, Infopro Digital). SEO technique, analyse de logs, GEO.
Vos pages sont-elles citables ?

Accès crawler, structure en chunks, réponses extractibles, entité : le diagnostic applique cette fiche à votre site.

Faire diagnostiquer mes pages →