Mis à jour le 11 juillet 2026 · Relu et vérifié par Damien Hernandez
X-Robots-Tag : définition, rôle et bonnes pratiques SEO
X-Robots-Tag est une directive de l’en-tête de réponse HTTP. Le serveur web l’envoie avec la ressource demandée. Il contrôle l’indexation et l’affichage d’une page ou d’un fichier par Google et Bing. En SEO, le X-Robots-Tag gère l’indexation des fichiers non-HTML comme les PDF et les images.
À retenir
- Le X-Robots-Tag et la balise meta robots partagent les mêmes règles, selon Google Search Central.
- Le X-Robots-Tag s’applique aux fichiers non-HTML : PDF, images, vidéos.
- Une URL bloquée par le robots.txt empêche Googlebot de lire le X-Robots-Tag.
Comment fonctionne le X-Robots-Tag ?
Le X-Robots-Tag agit au niveau du serveur, avant l’envoi du contenu. Quand un robot comme Googlebot demande une URL, le serveur renvoie un code HTTP, des en-têtes et le corps de la réponse. Le X-Robots-Tag figure parmi ces en-têtes. Le robot lit la directive, puis applique la règle : noindex retire la ressource de l’index, nofollow bloque le suivi des liens. Le X-Robots-Tag accepte les mêmes valeurs que la balise meta robots : noindex, nofollow, noarchive, nosnippet, unavailable_after. Sur Apache, la directive s’ajoute dans le fichier .htaccess ou httpd.conf. Sur Nginx, elle s’ajoute dans le fichier .conf. En cas de règles contradictoires, Google applique la plus restrictive : nosnippet l’emporte sur max-snippet:50.
Pourquoi le X-Robots-Tag est important pour le SEO ?
Le X-Robots-Tag donne un contrôle granulaire de l’indexation à l’échelle du serveur. Il retire de l’index les ressources sans valeur de recherche : anciens PDF, exports, pages de filtres, environnements de test. Cette exclusion concentre le budget de crawl sur les URL utiles. Le X-Robots-Tag traite aussi les fichiers non-HTML, seul cas où la balise meta robots reste inopérante. Google et Bing prennent en charge la directive dans l’en-tête HTTP. Une règle appliquée par motif (tous les .pdf, tout /admin/) couvre des milliers d’URL en une seule ligne de configuration, sans toucher aux templates.
| Critère | X-Robots-Tag | Balise meta robots |
|---|---|---|
| Emplacement | En-tête de réponse HTTP (serveur) | Section <head> du HTML |
| Fichiers couverts | HTML et non-HTML (PDF, images, vidéos) | Pages HTML uniquement |
| Application par motif | Oui (regex, dossier, type de fichier) | Non, page par page |
| Mise en place | Configuration serveur (.htaccess, .conf) | Template ou plugin (Rank Math) |
Vos directives d’indexation sont-elles cohérentes ? Demandez un audit technique
Quelle est la différence entre X-Robots-Tag et la balise meta robots ?
Le X-Robots-Tag et la balise meta robots donnent les mêmes directives, mais à des endroits différents. La balise meta robots vit dans le <head> du HTML et ne couvre que les pages HTML. Le X-Robots-Tag vit dans l’en-tête HTTP, au niveau du serveur, et couvre aussi les PDF, images et vidéos. Pour un fichier non-HTML, le X-Robots-Tag reste la seule option propre.
Comment vérifier le X-Robots-Tag d’une page ?
Pour vérifier le X-Robots-Tag, inspectez les en-têtes de la réponse HTTP. La commande curl -I suivie de l’URL affiche tous les en-têtes, dont la ligne X-Robots-Tag si elle existe. L’outil d’inspection d’URL de Google Search Console indique aussi la directive relevée par Googlebot. Une extension comme la barre d’outils SEO d’Ahrefs affiche l’en-tête directement dans le navigateur.
Exemple concret de X-Robots-Tag
Un exemple faible se limite à une seule URL éditée à la main, vite oubliée lors d’une refonte. Un exemple solide cible un motif complet côté serveur. La directive ci-dessous applique un noindex à tous les fichiers PDF d’un site Apache, en une seule règle dans le .htaccess :
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>Erreur fréquente observée en audit
Erreur observée. Une directive X-Robots-Tag: noindex était bien envoyée par le serveur, mais les URL concernées étaient également bloquées dans le fichier robots.txt. Googlebot ne pouvait donc plus explorer les ressources ni lire l’en-tête HTTP destiné à les désindexer. La correction consiste à autoriser temporairement le crawl, vérifier la présence du X-Robots-Tag dans la réponse, puis attendre la prise en compte du noindex avant d’ajuster les règles d’exploration.
Sources
- Google Search Central, Spécifications des balises meta pour les robots · 2025
- Google Search Central, Bloquer l’indexation avec noindex · 2025
- Google Search Central Blog, Robots Refresher : page-level granularity · mars 2025
Termes liés
Damien Hernandez · Consultant SEO senior, 15 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique et GEO (optimisation pour les moteurs génératifs).