Un signal robots.txt commun pour refuser l’entraînement des IA

Le 30 octobre 2026, Google Search Central a annoncé son intention de soutenir un contrôle partagé d’entraînement IA dans robots.txt. L’idée, portée au sein du groupe de travail AIPREF de l’IETF, est de laisser les sites exprimer une préférence d’entraînement génératif lisible par plusieurs fournisseurs, au lieu de multiplier les règles crawler par crawler.

Selon The Verge, OpenAI, Google, Microsoft et Anthropic se sont engagés à adopter ce signal. Meta a signalé un soutien de principe via son responsable communication, sans préciser clairement s’il l’honorera comme les quatre autres.

Google décrit un « policy token » (jeton de politique) placé dans robots.txt pour fixer une préférence large auprès des fournisseurs participants. Si un site utilise ce jeton pour refuser l’entraînement et que Google-Extended n’est pas explicitement spécifié, Google prévoit de l’interpréter comme un refus équivalent à Google-Extended, le contrôle d’entraînement qu’il propose depuis 2023.

Les contrôles propres à chaque entreprise continueront de coexister : un éditeur pourra poser une règle industrielle large, puis affiner par développeur. Google rappelle aussi que les sites qui autorisent explicitement Google-Extended restent éligibles à apparaître dans certaines réponses et clics via le grounding dans les applications Gemini.

Aujourd’hui, refuser l’entraînement impose souvent de bloquer séparément GPTBot, Google-Extended et d’autres agents. Un signal unique vise à réduire cette charge. The Verge situe l’annonce dans un contexte de tension sur le scraping : standards de licence du type RSL, blocages par défaut chez Cloudflare, plaintes d’éditeurs. Le sujet croise nos dossiers sur les applis d’info face aux AI Overviews et sur l’ouverture des poids de modèles : la question n’est plus seulement « qui crawl », mais « pour quel usage ».

Google vise un support « en 2027 », avec d’autres fournisseurs, et promet des mises à jour. Le mécanisme reste volontaire : il ne remplace pas le droit d’auteur ni un contrat de licence. Il ne s’applique pas rétroactivement aux corpus déjà collectés, point souvent souligné dans la couverture spécialisée. The Verge note aussi que le débat multiacteurs sur le reste du vocabulaire AIPREF se poursuit à l’IETF.

Google lie la proposition au code de bonnes pratiques européen sur les modèles d’IA à usage général, qui reconnaît robots.txt comme voie machine-readable pour les préférences des éditeurs. Reste à voir le taux d’adoption réel hors des quatre grands annoncés le 30 octobre.

Rien d’immédiat côté Google : le contrôle partagé n’est pas encore déployé. Les sites peuvent continuer d’utiliser Google-Extended et les User-agent spécifiques. Quand le jeton commun sera documenté et implémenté, il faudra vérifier la syntaxe exacte publiée par l’IETF et par chaque fournisseur, puis tester dans Search Console et les journaux de crawl.

Sur le fond, le signal ne dit rien du crawling pour l’indexation recherche classique : Google le présente comme un contrôle d’entraînement, articulé avec Google-Extended, pas comme un remplacement de Disallow général. Les éditeurs qui veulent rester visibles dans la recherche tout en refusant l’entraînement génératif devront donc combiner soigneusement les règles, une fois la syntaxe finalisée.

Enfin, l’efficacité dépendra du respect effectif par les crawlers. Un standard IETF largement soutenu augmente la pression normative, mais les agents non participants, les jeux de proxies et les collectes hors robots.txt resteront des angles morts. D’où l’intérêt, pour les sites, de surveiller aussi les journaux d’accès et les déclarations de User-agent au fil de 2027.