User-Agent
L’en-tête qui identifie un robot : lecture dans les logs, vérification, falsification.
User-Agent (agent utilisateur) est un en-tete HTTP qui identifie le logiciel emettant une requete. Un navigateur, un robot ou un script y declare son nom et sa version. En SEO, le User-Agent revele le passage de Googlebot dans les logs serveur et conditionne la version de page servie.
Comment fonctionne le User-Agent ?
Le User-Agent voyage dans l’en-tete de chaque requete HTTP envoyee au serveur. Le client, navigateur ou robot, inscrit une chaine de caracteres composee de jetons produit, du plus important au moins important. Selon la section 10.1.5 du RFC 9110, ce format liste des product tokens suivis de commentaires entre parentheses. Un exemple type ressemble a : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z. Le serveur lit cette chaine, puis adapte sa reponse : version mobile, contenu ou blocage. Googlebot annonce son identite avec le jeton compatible ; Googlebot/2.1 et une URL de contact. Le User-Agent reste declaratif : le serveur recoit ce que le client transmet, jamais une preuve d’identite.
Pourquoi le User-Agent est important pour le SEO ?
Le User-Agent conditionne trois leviers SEO majeurs. Ces leviers sont l’analyse de logs, le rendu adaptatif et le controle du crawl. En lecture de logs, le User-Agent distingue le trafic de Googlebot, Bingbot ou GPTBot de celui des internautes. Google explore la majorite des sites avec Googlebot Smartphone depuis le passage au mobile-first index. Dans le robots.txt, la ligne User-agent cible un robot precis par son jeton. Servir un contenu different a Googlebot et aux internautes constitue du cloaking, sanctionne par Google.
| Critere | En-tete User-Agent | DNS inverse et direct |
|---|---|---|
| Nature | Declaratif, envoye par le client | Verifiable via l’infrastructure DNS |
| Falsifiable | Oui, une ligne de code suffit | Non, sauf serveur DNS compromis |
| Usage recommande | Lire les logs, segmenter le trafic | Authentifier un robot avant tout blocage |
Comment voir son User-Agent ?
Ouvrir la console du navigateur, puis taper navigator.userAgent affiche la chaine complete. Chrome, Firefox et Safari renvoient le navigateur, sa version et le systeme d’exploitation. Un site comme whatismybrowser.com donne le meme resultat sans code. Pour un robot, l’analyse des logs serveur revele le User-Agent reel de chaque requete entrante.
Peut-on falsifier un User-Agent ?
Oui, un User-Agent se falsifie en une seule ligne de code. Les outils developpeur de Chrome ou un en-tete HTTP personnalise suffisent a imiter Googlebot. Google avertit dans sa documentation que la chaine User-Agent est falsifiable. Un serveur ne doit donc jamais accorder sa confiance ni bloquer sur le seul User-Agent, sous peine de laisser passer de faux robots.
Exemple concret de User-Agent
Un exemple faible consiste a bloquer toute requete portant le jeton Googlebot. Cette regle bloque aussi le vrai Googlebot et fait chuter l’indexation. La bonne pratique teste le rendu par User-Agent avec curl, puis verifie l’IP par DNS inverse. La commande ci-dessous simule Googlebot, puis authentifie une IP source aupres de Google.
curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.exemple.fr/
host 66.249.66.1
# crawl-66-249-66-1.googlebot.com puis forward DNS pour confirmer l'IPErreur fréquente observée en audit
Cas réel. Sur mon propre site, des tests automatisés ont montré qu’une même URL pouvait répondre différemment selon le User-Agent envoyé, alors que la page restait accessible depuis un navigateur classique. Le blocage provenait d’un filtrage serveur des agents utilisateurs, pas du fichier robots.txt. L’audit a dû comparer les réponses HTTP obtenues avec plusieurs User-Agents, puis vérifier les adresses IP par DNS inverse avant de distinguer les robots légitimes des requêtes usurpées.
Faire expliquer ce terme par une IA
Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.
Sources
- 1IETF, RFC 9110 HTTP Semantics, section 10.1.5 User-Agent · juin 2022
- 2Google for Developers, Overview of Google crawlers and fetchers (user agents) · 2026
- 3Google for Developers, Verify requests from Google crawlers and fetchers · 2026
- 4Google for Developers, Google’s common crawlers · 2026
Questions fréquentes
Servir un contenu différent selon le User-Agent est-il du cloaking ?−
Oui, quand le contenu servi aux moteurs diffère de celui servi aux visiteurs. Google traite le cloaking comme une violation de ses règles. L’adaptation par appareil reste autorisée, à contenu équivalent.
Le User-Agent disparaît-il au profit des Client Hints ?+
Google réduit progressivement la précision de la chaîne User-Agent dans Chrome. Les User-Agent Client Hints la remplacent côté navigateurs. Les robots continuent de se déclarer par un User-Agent classique.
Comment authentifier un robot au-delà du User-Agent ?+
Par un reverse DNS sur l’adresse IP, suivi d’une résolution directe. Google, Bing et OpenAI publient leurs plages d’adresses. Cette double vérification écarte les agents falsifiés.
Damien Hernandez
Consultant SEO senior, 17 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique, analyse de logs et optimisation pour les moteurs génératifs (GEO).