Mis à jour le 3 juillet 2026 · Relu et vérifié par Damien Hernandez
ClaudeBot : definition, role et bonnes pratiques SEO
ClaudeBot est le robot d’exploration d’Anthropic dedie a l’entrainement des modeles Claude. Il collecte le contenu web public susceptible d’alimenter les futurs cycles d’entrainement. ClaudeBot respecte le robots.txt et remplace les anciens agents Claude-Web et Anthropic-AI, deprecies. En SEO, le bloquer n’affecte ni la recherche Claude ni les consultations a la demande, gerees par deux autres robots.
A retenir
- Anthropic a formalise un framework a trois robots le 20 fevrier 2026 (documentation Anthropic). Chacun a un role distinct : ClaudeBot pour l’entrainement, Claude-SearchBot pour l’index de recherche, Claude-User pour les consultations a la demande. Consequence : chaque robot se bloque separement dans le robots.txt.
- La part de ClaudeBot dans le trafic des crawlers IA et de recherche est passee de 6 % a pres de 10 % entre juillet 2024 et juillet 2025 (Cloudflare, aout 2025).
- ClaudeBot affiche la plus forte progression de taux de blocage de tous les bots IA : +32,67 % en un an (Ahrefs, aout 2025, 140 millions de sites).
Comment fonctionne ClaudeBot ?
ClaudeBot explore les pages web publiques et collecte leur contenu pour les jeux de donnees d’entrainement d’Anthropic. Le robot s’identifie dans les logs serveur par la chaine User-Agent ClaudeBot/1.0, accompagnee d’une adresse de contact Anthropic. ClaudeBot respecte les directives du robots.txt, supporte l’extension Crawl-delay pour limiter sa cadence et ne contourne pas les CAPTCHA, selon la documentation Anthropic. Particularite notable : Anthropic ne publie pas les plages IP de ses robots et deconseille le blocage par IP, qui peut empecher la lecture du robots.txt et rendre l’opt-out inoperant. ClaudeBot succede aux agents Claude-Web et Anthropic-AI, tous deux deprecies. Un robots.txt qui bloque encore ces anciens noms ne bloque plus rien. Depuis fevrier 2026, ClaudeBot cohabite avec Claude-SearchBot et Claude-User, chacun controlable separement.
Pourquoi ClaudeBot est important pour le SEO ?
ClaudeBot concentre l’hostilite des editeurs envers le crawl d’entrainement. Son taux de blocage a progresse de 32,67 % en un an, la plus forte hausse de tous les bots IA (Ahrefs, aout 2025). Une raison documentee : le desequilibre entre crawl et trafic renvoye. Cloudflare mesurait pour Anthropic un ratio de 38 000 pages explorees pour une seule visite referee en juillet 2025. Le framework a trois robots de fevrier 2026 change le calcul : bloquer ClaudeBot n’exclut plus un site des reponses de Claude, qui dependent de Claude-SearchBot et de Claude-User. Un site peut donc refuser l’entrainement tout en restant visible dans la recherche Claude. La condition : viser le bon robot, avec les noms d’agents actuels et non les identifiants deprecies de 2024.
| Critere | ClaudeBot | Claude-SearchBot |
|---|---|---|
| Role | Collecte de contenus pour l’entrainement des modeles Claude | Indexation des contenus pour la recherche Claude |
| Effet d’un blocage | Exclusion des donnees d’entrainement futures | Perte de visibilite dans les reponses de recherche Claude |
| Statut | Actif depuis 2024, successeur de Claude-Web | Officialise dans la documentation du 20 fevrier 2026 |
Testez gratuitement le score d’extractibilite de vos chunks
Faut-il bloquer ClaudeBot sur son site ?
Bloquer ClaudeBot se justifie pour exclure ses contenus des futurs entrainements de Claude, sans perdre la visibilite dans les reponses. La recherche Claude depend de Claude-SearchBot et les consultations a la demande de Claude-User : les trois se bloquent separement. Pour un site qui vise les citations IA, autoriser les trois reste le calcul le plus simple. Pour limiter la charge serveur sans bloquer, la directive Crawl-delay est supportee.
Comment bloquer ClaudeBot dans le robots.txt ?
Pour bloquer ClaudeBot, ajoutez deux lignes au robots.txt a la racine du site. Premiere ligne : User-agent: ClaudeBot. Seconde ligne : Disallow: /. La directive doit etre repetee sur chaque sous-domaine a proteger, chacun ayant son propre robots.txt. Anthropic deconseille le blocage par adresses IP : il peut empecher ses robots de lire le robots.txt et rendre l’opt-out inefficace.
<Exemple concret de configuration ClaudeBot
ClaudeBot se configure separement des robots de recherche Claude. Exemple : un site peut refuser l’utilisation de ses contenus pour l’entrainement des modeles Claude en bloquant ClaudeBot, tout en autorisant Claude-SearchBot et Claude-User pour rester visible dans les reponses de recherche et les consultations a la demande. Cette configuration limite l’usage des contenus pour l’entrainement, sans couper la visibilite GEO.
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /Erreur frequente observee en audit
Cas reel. En audit GEO, l’erreur frequente consiste a bloquer ClaudeBot en pensant bloquer toute la visibilite dans Claude, ou l’inverse : autoriser tous les robots Anthropic sans distinguer l’entrainement, la recherche et les actions utilisateurs. Le second probleme vient des anciens User-Agents Claude-Web et Anthropic-AI, encore presents dans certains robots.txt alors qu’ils sont deprecies. La correction consiste a utiliser les noms actuels, a separer les trois usages, puis a verifier les codes retour dans les logs serveur.
Damien Hernandez · Consultant SEO senior, 15 ans d’experience (Accor, Louvre Hotels, Infopro Digital). Specialiste SEO technique et GEO (optimisation pour les moteurs generatifs).