Un seul signal robots.txt contre l’entraînement IA, mais Meta ne s’engage pas

Jusqu’ici, quiconque voulait empêcher l’entraînement de l’IA sur son site devait rédiger une règle distincte pour chaque entreprise et apprendre les noms de robots comme GPTBot, ClaudeBot et Google-Extended, un par un. Google, OpenAI, Anthropic et Microsoft affirment désormais qu’ils liront tous la même ligne : un « jeton de politique » commun dans robots.txt, ce petit fichier texte qui indique aux moteurs de recherche où ne pas aller depuis les débuts du web. Rédigée une seule fois, cette entrée donnera la même réponse à quatre des plus grands acteurs du développement de l’IA.

L’idée vient de Kevin Kelley, responsable technique des normes chez Anthropic, qui l’a soumise à l’Internet Engineering Task Force, l’organisme chargé d’élaborer les règles techniques d’Internet. Son astuce, c’est qu’elle n’invente aucune nouvelle syntaxe. Le propriétaire d’un site rédige un groupe de règles ordinaire, mais la ligne User-Agent désigne un usage plutôt qu’un robot d’exploration : __usage_ai-training. En dessous, « Disallow: / » signifie qu’il ne faut rien utiliser ici pour l’entraînement ; une ligne « Allow » permet, elle, de prévoir des exceptions, par exemple un dossier de presse qu’une entreprise serait heureuse de voir servir à entraîner un modèle.

Pour un blog, une boutique ou une rédaction, le détail le plus utile est ce que cette ligne ne change pas. Elle indique une préférence sur l’usage du contenu, pas sur les personnes autorisées à consulter le site : la recherche continue donc de fonctionner. Google précise que si un site se désengage au moyen du jeton commun sans mentionner séparément Google-Extended, il interprétera ce choix comme un blocage de Google-Extended. Celui-ci couvre l’entraînement de Gemini, mais la page reste accessible dans Google Search. Microsoft fait la même promesse pour Bing : ce réglage ne change pas la possibilité pour une page d’apparaître dans ses résultats.

Microsoft va plus loin que les autres. En plus du réglage relatif à l’entraînement, l’entreprise ajoute une préférence distincte concernant le grounding, définie page par page au moyen d’une balise meta ou d’un en-tête HTTP. Celle-ci détermine si une page peut alimenter les réponses générées à la volée par Bing, Copilot et Microsoft 365. Un site pourrait refuser l’entraînement tout en autorisant le grounding, et conserver ainsi ses citations et ses liens dans les réponses de l’IA. Microsoft avertit qu’un refus du grounding réduira « considérablement » la visibilité d’un site dans ces expériences, et qu’aucun des deux choix ne garantit son inclusion, du trafic ou une rémunération.

Un piège se cache dans le fichier que la plupart des sites possèdent déjà. Le projet de Kelley rend délibérément la règle générique bien connue, « User-agent: * », aveugle au nouveau jeton : un fichier robots.txt qui bloque aujourd’hui tous les robots n’exprime donc aucune préférence sur l’entraînement de l’IA. Les propriétaires qui veulent s’y opposer doivent ajouter le nouveau groupe en toutes lettres. Le signal ne vaut par ailleurs que pour l’avenir : tout ce que les entreprises ont exploré avant l’apparition de cette ligne figure déjà dans leurs jeux de données d’entraînement, et rien dans le projet n’oblige une entreprise à la respecter. C’est une demande que quatre sociétés se sont engagées à suivre, pas un verrou.

L’absence la plus remarquée est celle de Meta. Andy Stone, responsable de la communication de l’entreprise, a déclaré à The Verge qu’un signal commun transmis simultanément à plusieurs fournisseurs constituait « une étape importante », sans préciser si Meta le respecterait. Le calendrier est embarrassant. Le jour même où les quatre entreprises ont annoncé leur soutien, les nouvelles conditions commerciales de Meta sont entrées en vigueur. Elles l’autorisent à envoyer des robots d’exploration sur les sites associés aux comptes professionnels Facebook, Instagram et WhatsApp, et à utiliser les données collectées pour entraîner ses produits.

Le déploiement est inégal. Anthropic a déjà commencé à mettre en place le jeton, même si Kelley a écrit qu’il faudrait du temps pour l’étendre à l’ensemble de ses services. Microsoft le respectera lors de ses explorations à partir du 1er février 2027 et, après le 1er mars, cessera d’interpréter ses anciennes balises NoArchive et NoCache comme des signaux liés à l’entraînement ou au grounding. Google prévoit de prendre en charge le jeton en 2027 et promet de faire le point sur les progrès, tandis qu’OpenAI s’est seulement engagé à le faire dans les prochains mois. La proposition doit encore être examinée par le groupe de travail AI Preferences de l’IETF avant de devenir une norme officielle. Google souligne qu’elle est compatible avec le code de bonnes pratiques de l’UE pour les modèles d’IA à usage général, qui considère déjà robots.txt comme le principal moyen pour les éditeurs d’exprimer des préférences lisibles par les machines.

Ce qui rend ce moment remarquable, c’est l’ampleur de la solution. Après des années de procès et de batailles autour des licences et de la propriété du web ouvert, la première réponse commune tient en quelques caractères dans un simple fichier texte que n’importe qui peut modifier en une minute. Le degré de protection qu’elle offrira dépendra des prochains acteurs à y adhérer ; or, l’entreprise qui compte le plus de pages professionnelles sur ses plateformes n’a pas encore dit oui.

Étiquettes: intelligence artificielle, OpenAI, Google, Anthropic, microsoft, meta