Google-Extended
Un token du robots.txt qui n’est pas un crawler : ce qu’il refuse vraiment, et ce qu’il ne bloque pas.
Google-Extended est un token de controle du robots.txt propose par Google depuis septembre 2023. Il permet de refuser l’usage des contenus d’un site pour l’entraînement et le grounding des modèles Gemini et de Vertex AI. Ce n’est pas un crawler : l’exploration reste assurée par Googlebot. En SEO, le bloquer ne change ni le classement ni la présence dans les AI Overviews.
Comment fonctionne Google-Extended ?
Google-Extended fonctionne comme un signal déclaratif dans le robots.txt, pas comme un robot autonome. Le site ajoute une regle User-agent: Google-Extended suivie d’un Disallow, total ou limite à un répertoire. Google lit cette regle lors du crawl effectue par ses agents habituels, Googlebot en tête, et exclut alors les contenus concernés de l’entraînement des futurs modèles Gemini et du grounding dans les applications Gemini et Vertex AI. Conséquence directe de cette architecture : Google-Extended ne possède aucune chaîne User-Agent propre et ne laisse aucune trace dans les logs serveur. Chercher ses visites est un non-sens technique, le trafic observe reste celui de Googlebot. Autre limite documentée : le token n’agit que pour l’avenir. Les contenus déjà intégrés aux modèles Gemini existants ne sont pas retires.
Pourquoi Google-Extended est important pour le SEO ?
Google-Extended cristallise une asymétrie propre à Google. Chez OpenAI ou Anthropic, le bot d’entraînement se bloque sans toucher a la recherche. Chez Google, l’IA intégrée à Search (AI Overviews, Mode IA) est alimentée par le crawl de Googlebot : refuser cette exploitation supposerait de bloquer Googlebot, donc de sortir de la recherche. Google-Extended n’offre qu’un opt-out partiel, limite à Gemini et Vertex AI, et les éditeurs le savent. Trois erreurs reviennent en audit. Croire que bloquer Google-Extended retire un site des AI Overviews : faux, les contrôles sont nosnippet, data-nosnippet, max-snippet et noindex (Google Search Central). Chercher Google-Extended dans les logs : impossible, c’est un token. Bloquer Googlebot en croyant ne viser que l’IA : le site disparaît de Google Search.
| Critère | Google-Extended | Googlebot |
|---|---|---|
| Nature | Token de controle dans le robots.txt, sans crawl propre | Robot d’exploration avec User-Agent et visites réelles |
| Périmètre | Entraînement et grounding de Gemini et Vertex AI | Index Google Search, y compris AI Overviews et Mode IA |
| Traces dans les logs | Aucune, le token n’émet pas de requête | Visites identifiables et vérifiables par DNS inverse |
Faut-il bloquer Google-Extended ?
Bloquer Google-Extended se justifie pour les contenus premium ou exclusifs dont l’exploitation par Gemini n’apporte rien en retour. Pour un site qui vise la visibilité, l’autoriser reste le calcul dominant : les contenus nourrissent Gemini, donc les réponses ou la marque peut être citée. Le blocage est sans risque pour le SEO classique : il n’affecte ni l’inclusion ni le classement dans Google Search (documentation Google).
Comment bloquer les AI Overviews de Google ?
Pas avec Google-Extended : les AI Overviews font partie de Google Search et échappent au token. Les contrôles réels sont les balises nosnippet, data-nosnippet et max-snippet, qui limitent les extraits exploitables, ou noindex pour retirer la page entièrement (Google Search Central). Le coût est à mesurer : ces balises réduisent aussi les extraits dans la recherche classique. Il n’existe aucun moyen d’apparaître dans Search tout en refusant les AI Overviews.
Exemple concret d’utilisation de Google-Extended
Google-Extended se configure dans le robots.txt pour refuser l’usage futur de certains contenus par Gemini et Vertex AI, sans bloquer Google Search. Exemple : un site peut interdire Google-Extended sur un répertoire premium, tout en laissant Googlebot explorer les pages publiques. Cette configuration limite l’exploitation par Gemini, mais ne retire pas les pages de Google, ne bloque pas les AI Overviews et ne produit aucune ligne Google-Extended dans les logs serveur.
User-agent: Google-Extended
Disallow: /contenus-premium/User-agent: Googlebot
Allow: /Erreur fréquente observée en audit
Cas réel. En audit GEO, l’erreur fréquente consiste à chercher Google-Extended dans les logs serveur ou à croire que son blocage supprime la présence dans les AI Overviews. Google-Extended n’est pas un crawler, mais un token de controle lu par Google. Les visites restent celles de Googlebot. La correction consiste à séparer les objectifs : Google-Extended pour Gemini et Vertex AI, nosnippet ou noindex pour les extraits Search, et surtout jamais de blocage Googlebot si l’objectif SEO reste la visibilité dans Google.
Trois idées reçues sur Google-Extended
Google-Extended porte un nom de robot sans en être un, ce qui produit deux erreurs de configuration.
Google-Extended est un robot d’exploration. C’est un token de contrôle lu dans le robots.txt. Le crawl reste assuré par Googlebot.
Bloquer Google-Extended retire le site des AI Overviews. Le token vise l’entraînement et le grounding de Gemini. L’affichage dans les aperçus se contrôle par les directives d’extrait.
Bloquer Google-Extended dégrade le classement. Google indique que le token n’affecte pas la recherche. Le classement reste inchangé.
Questions fréquentes
Google-Extended apparaît-il dans les logs serveur ?−
Non, Google-Extended n’émet aucune requête. C’est un token de contrôle lu dans le robots.txt, pas un robot d’exploration. Les passages restent attribués à Googlebot dans les logs.
Bloquer Google-Extended change-t-il le classement ?+
Non, Google confirme que le token n’affecte pas la recherche. L’exploration reste assurée par Googlebot. Le blocage porte sur l’entraînement et le grounding des modèles Gemini et Vertex AI.
Google-Extended couvre-t-il Gemini et Vertex AI ?+
Oui, le token vise ces deux usages. Il ne couvre pas l’affichage dans les AI Overviews, géré par les directives d’extrait. Un éditeur qui veut sortir des aperçus utilise nosnippet.
Damien Hernandez
Consultant SEO senior, 17 ans d’expérience (Accor, Louvre Hotels, Infopro Digital). Spécialiste SEO technique, analyse de logs et optimisation pour les moteurs génératifs (GEO).
Sources
- 1Google, « An update on web publisher controls » · 28 septembre 2023 (lancement de Google-Extended) consulter la source
- 2Google, « Robots d’exploration courants de Google » (Google-Extended n’est pas un crawler) consulter la source
Faire expliquer ce terme par une IA
Ouvre le moteur de ton choix avec un prompt pré-rempli sur ce terme.