User-Agent
L’en-tête qui identifie un robot : lecture dans les logs, vérification, falsification.
User-Agent (agent utilisateur) est un en-tête HTTP qui identifie le logiciel émettant une requête. Un navigateur, un robot ou un script y declare son nom et sa version. En SEO, le User-Agent revele le passage de Googlebot dans les logs serveur et conditionne la version de page servie.
Comment fonctionne le User-Agent ?
Le User-Agent voyage dans l’en-tête de chaque requête HTTP envoyée au serveur. Le client, navigateur ou robot, inscrit une chaîne de caractères composée de jetons produit, du plus important au moins important. Selon la section 10.1.5 du RFC 9110, ce format liste des product tokens suivis de commentaires entre parentheses. Un exemple type ressemble a : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z. Le serveur lit cette chaîne, puis adapte sa réponse : version mobile, contenu ou blocage. Googlebot annonce son identité avec le jeton compatible ; Googlebot/2.1 et une URL de contact. Le User-Agent reste déclaratif : le serveur reçoit ce que le client transmet, jamais une preuve d’identité.
Pourquoi le User-Agent est important pour le SEO ?
Le User-Agent conditionne trois leviers SEO majeurs. Ces leviers sont l’analyse de logs, le rendu adaptatif et le controle du crawl. En lecture de logs, le User-Agent distingue le trafic de Googlebot, Bingbot ou GPTBot de celui des internautes. Google explore la majorité des sites avec Googlebot Smartphone depuis le passage au mobile-first index. Dans le robots.txt, la ligne User-agent cible un robot précis par son jeton. Servir un contenu different a Googlebot et aux internautes constitue du cloaking, sanctionne par Google.
| Critère | En-tête User-Agent | DNS inverse et direct |
|---|---|---|
| Nature | Déclaratif, envoyé par le client | Vérifiable via l’infrastructure DNS |
| Falsifiable | Oui, une ligne de code suffit | Non, sauf serveur DNS compromis |
| Usage recommande | Lire les logs, segmenter le trafic | Authentifier un robot avant tout blocage |
Comment voir son User-Agent ?
Ouvrir la console du navigateur, puis taper navigator.userAgent affiche la chaîne complète. Chrome, Firefox et Safari renvoient le navigateur, sa version et le système d’exploitation. Un site comme whatismybrowser.com donne le même résultat sans code. Pour un robot, l’analyse des logs serveur revele le User-Agent réel de chaque requête entrante.
Peut-on falsifier un User-Agent ?
Oui, un User-Agent se falsifie en une seule ligne de code. Les outils développeur de Chrome ou un en-tête HTTP personnalise suffisent à imiter Googlebot. Google avertit dans sa documentation que la chaîne User-Agent est falsifiable. Un serveur ne doit donc jamais accorder sa confiance ni bloquer sur le seul User-Agent, sous peine de laisser passer de faux robots.
Exemple concret de User-Agent
Un exemple faible consiste à bloquer toute requête portant le jeton Googlebot. Cette regle bloque aussi le vrai Googlebot et fait chuter l’indexation. La bonne pratique teste le rendu par User-Agent avec curl, puis verifie l’IP par DNS inverse. La commande ci-dessous simule Googlebot, puis authentifie une IP source auprès de Google.
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.exemple.fr/
host 66.249.66.1
# crawl-66-249-66-1.googlebot.com puis forward DNS pour confirmer l'IPErreur fréquente observée en audit
Cas réel. Sur mon propre site, des tests automatisés ont montré qu’une même URL pouvait répondre différemment selon le User-Agent envoyé, alors que la page restait accessible depuis un navigateur classique. Le blocage provenait d’un filtrage serveur des agents utilisateurs, pas du fichier robots.txt. L’audit a dû comparer les réponses HTTP obtenues avec plusieurs User-Agents, puis vérifier les adresses IP par DNS inverse avant de distinguer les robots légitimes des requêtes usurpées.
Faire expliquer ce terme par une IA
Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.
Sources
- 1IETF, RFC 9110 HTTP Semantics, section 10.1.5 User-Agent · juin 2022
- 2Google for Developers, Overview of Google crawlers and fetchers (user agents) · 2026
- 3Google for Developers, Verify requests from Google crawlers and fetchers · 2026
- 4Google for Developers, Google’s common crawlers · 2026
Questions fréquentes
Servir un contenu différent selon le User-Agent est-il du cloaking ?−
Oui, quand le contenu servi aux moteurs diffère de celui servi aux visiteurs. Google traite le cloaking comme une violation de ses règles. L’adaptation par appareil reste autorisée, à contenu équivalent.
Le User-Agent disparaît-il au profit des Client Hints ?+
Google réduit progressivement la précision de la chaîne User-Agent dans Chrome. Les User-Agent Client Hints la remplacent côté navigateurs. Les robots continuent de se déclarer par un User-Agent classique.
Comment authentifier un robot au-delà du User-Agent ?+
Par un reverse DNS sur l’adresse IP, suivi d’une résolution directe. Google, Bing et OpenAI publient leurs plages d’adresses. Cette double vérification écarte les agents falsifiés.
Damien Hernandez
Consultant SEO senior, 17 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique, analyse de logs et optimisation pour les moteurs génératifs (GEO).