IA

Un seul signal robots.txt contre l’entraînement IA, mais Meta ne s’engage pas

Susan Hill
Ajoutez-nous sur Google

Google, OpenAI, Anthropic et Microsoft se sont entendus pour lire un même jeton robots.txt, __usage_ai-training, comme la réponse d’un site sur l’entraînement de l’IA. Le dispositif est plus simple que les listes actuelles, robot par robot, mais il reste volontaire, ne vaut que pour l’avenir et ne recouvre pas tout à fait la même chose d’une entreprise à l’autre.

Jusqu’ici, quiconque voulait soustraire son site à l’entraînement de l’IA devait rédiger une règle distincte pour chaque entreprise, apprendre un par un des noms comme GPTBot, ClaudeBot ou Google-Extended, et mettre sa liste à jour chaque fois qu’un autre développeur publiait un nouveau robot d’exploration. Le vendredi 30 octobre, Google, OpenAI, Anthropic et Microsoft ont annoncé qu’ils liraient désormais tous la même ligne : un « jeton de politique » (policy token) commun dans robots.txt, ce petit fichier texte qui indique aux moteurs de recherche où ne pas aller depuis les débuts du web. Rédigée une seule fois, cette entrée donnera la même réponse à quatre des plus grands développeurs d’IA.

L’idée vient de Kevin Kelley, responsable technique des normes chez Anthropic, qui l’a soumise sous la forme d’un Internet-Draft à l’Internet Engineering Task Force (IETF), l’organisme qui élabore les règles techniques d’Internet. Google a publié son soutien sur son blog Search Central, sous la signature de John Mueller, son Search Advocate ; Microsoft l’a fait sur le blog de Bing par la voix de Krishna Madhavan, principal product manager ; OpenAI s’est contenté d’un bref communiqué. Kelley a présenté le projet le même après-midi sur la liste de diffusion du groupe de travail AI Preferences de l’IETF, connu sous le nom d’AIPREF, en écrivant qu’Anthropic « a déjà commencé à mettre en œuvre sa prise en charge ».

Comment fonctionne la ligne

Son astuce, c’est qu’elle n’invente aucune nouvelle syntaxe. Le propriétaire d’un site rédige un groupe de règles robots.txt ordinaire, mais la ligne User-Agent désigne un usage plutôt qu’un robot d’exploration : __usage_ai-training. En dessous, « Disallow: / » signifie qu’il ne faut rien utiliser ici pour l’entraînement, tandis qu’une ligne « Allow » permet de prévoir des exceptions. L’exemple du projet lui-même ouvre un dossier /press-kit/, le genre de contenu qu’une entreprise serait heureuse de voir un modèle assimiler. La correspondance suit les règles de chemin et la priorité à la correspondance la plus longue définies par la RFC 9309, le Robots Exclusion Protocol que l’IETF a formalisé en septembre 2022, près de trois décennies après que Martijn Koster eut proposé cette convention en 1994.

Le double tiret bas placé en tête n’a rien d’un hasard. Certains analyseurs robots.txt en circulation comparent les noms de robots de manière approximative, et ce préfixe rend peu probable une correspondance accidentelle avec un véritable robot d’exploration. Un même groupe peut énumérer plusieurs jetons de politique, et ces jetons peuvent cohabiter avec des noms de robots ordinaires. Kelley a écrit qu’il avait longuement étudié le comportement des analyseurs déployés et conçu le mécanisme de manière à éviter les zones où ils divergent ; un logiciel qui ignore tout du jeton se contente donc de sauter le groupe, comme il le ferait pour n’importe quel groupe adressé à un robot qu’il ne reconnaît pas.

La définition de l’entraînement est empruntée plutôt qu’inventée. Le projet la tire du document de vocabulaire du groupe de travail AIPREF, édité par Paul Keller, d’Open Future, et Martin Thomson, de Mozilla : l’entraînement de l’IA consiste à utiliser un contenu « pour modifier les paramètres appris d’un modèle d’IA générative ». Les modèles servant uniquement à la classification, au classement ou à la notation en sont exclus, même lorsqu’ils produisent une explication de leur résultat. La préférence applicable à une page est celle qui figurait dans le fichier robots.txt en vigueur au moment où la page a été récupérée.

La recherche n’est pas concernée

Pour un blog, une boutique ou une rédaction, le détail le plus utile tient à ce que cette ligne laisse intact. Le projet précise sans ambiguïté que le jeton « n’est pas une directive relative au comportement d’exploration » : il exprime une préférence sur l’usage du contenu, non sur qui peut consulter le site, et la recherche continue donc de fonctionner. Les règles adressées à Googlebot, à Bingbot ou à tout autre robot nommément désigné conservent exactement le sens qu’elles ont aujourd’hui. Un site qui veut tenir un robot entièrement à l’écart doit toujours le dire dans un groupe portant le nom propre de ce robot.

Microsoft affirme que ce réglage ne change rien à la possibilité pour une page d’apparaître dans les résultats de Bing. Google indique que, si un site se désengage au moyen du jeton commun sans mentionner séparément Google-Extended, il interprétera ce choix comme un blocage de Google-Extended. Google-Extended, que Google propose depuis 2023, n’a aucun effet sur l’inclusion dans Google Search, mais sa portée dépasse l’entraînement : selon la documentation de Google consacrée à ses robots d’exploration, il détermine aussi si une page peut servir au grounding dans Gemini Apps et sur Vertex AI, ce procédé qui consiste à transmettre au modèle des pages issues de l’index de recherche pendant qu’il formule sa réponse. Selon le plan annoncé par Google, le désengagement commun de l’entraînement retire donc aussi un site de ces réponses ancrées de Gemini, à moins que le site n’ajoute un groupe d’autorisation explicite pour Google-Extended, que Google traite comme la règle la plus spécifique. Les AI Overviews et l’AI Mode de Google Search relèvent d’une autre logique : ils sont régis par les règles de Googlebot et par un réglage de la Search Console que l’entreprise a déployé sur tous les sites en août.

Microsoft dissocie entraînement et réponses

Microsoft va plus loin que les autres. En plus du réglage relatif à l’entraînement, l’entreprise ajoute une préférence distincte concernant le grounding, définie page par page au moyen d’une balise meta ou d’un en-tête HTTP, qui détermine si une page peut alimenter les réponses générées à la volée par Bing, Copilot et Microsoft 365. Elle admet trois valeurs : Allow, la valeur par défaut ; Disallow ; et une nouvelle valeur, DisallowExtended, qui laisse la page accessible aux propres expériences d’IA de Microsoft tout en l’excluant des services de grounding que Microsoft vend à d’autres entreprises, comme Web IQ. Un site pourrait ainsi refuser l’entraînement tout en autorisant le grounding, et conserver ses citations et ses liens dans les réponses de l’IA. Microsoft permet également de fixer la préférence relative à l’entraînement pour une seule page, et ce réglage au niveau de la page prévaut sur robots.txt.

Microsoft avertit que restreindre le grounding réduira la visibilité d’un site dans ces expériences, et affirme qu’« aucun des deux choix ne garantit l’inclusion, le trafic ou une rémunération ». L’entreprise abandonne par ailleurs les balises NoArchive et NoCache qu’elle avait introduites en 2023 comme outils de contrôle de l’IA. Elle respectera les nouvelles préférences lors de ses explorations à partir du 1er février 2027 et, après le 1er mars, cessera de lire les anciennes balises comme des signaux d’entraînement ou de grounding. Les sites qui comptent sur ces balises pour rester à l’écart du grounding pourront enregistrer une préférence temporaire dans Bing Webmaster Tools à partir du 15 décembre. Microsoft ajoute que, dès qu’elle détectera l’une ou l’autre des nouvelles préférences sur un site, elle ignorera les anciennes balises encore présentes ; un éditeur qui n’ajouterait que la ligne commune sur l’entraînement pourrait donc perdre une restriction de grounding qu’il avait fixée auparavant.

Le piège de la règle générique

Un piège se cache dans le fichier que la plupart des sites possèdent déjà. Le projet de Kelley rend délibérément la règle générique bien connue, « User-agent: * », aveugle au nouveau jeton, et un fichier dépourvu de groupe __usage_ai-training n’exprime aucune préférence ; ce qui, comme l’a souligné Kelley, vaut pour tous les fichiers robots.txt publiés jusqu’à présent. Un site qui ferme aujourd’hui sa porte à tous les robots n’a, au sens du projet, rien dit de l’entraînement de l’IA. Les propriétaires qui veulent s’y opposer doivent ajouter le nouveau groupe en le désignant par son nom. Les anciens jetons propres à chaque éditeur ne sont pas non plus transposés : un blocage de Google-Extended garde son sens chez Google, mais il ne devient pas un désengagement commun valable pour OpenAI ou Microsoft.

Le signal ne vaut par ailleurs que pour l’avenir. Tout ce que les entreprises ont exploré avant l’apparition de la ligne figure déjà dans leurs jeux de données d’entraînement, et rien dans le projet n’oblige une entreprise à la respecter. Des accords de licence privés peuvent primer sur elle, précise encore le texte ; un éditeur lié par un accord sur ses contenus peut donc afficher un refus général et voir malgré tout cet accord régir sa relation avec un développeur donné. OpenAI qualifie elle-même sa participation d’« effort volontaire ». C’est une demande que quatre sociétés se sont engagées à respecter, pas un verrou.

Les absents

L’absence la plus remarquée est celle de Meta. Andy Stone, son directeur de la communication, a déclaré à The Verge qu’un signal commun parvenant simultanément à plusieurs fournisseurs constituait « une étape importante », sans préciser si Meta le respecterait. Le calendrier est embarrassant. Les conditions commerciales révisées de Meta, qui l’autorisent à envoyer des robots d’exploration sur les sites liés aux comptes professionnels Facebook, Instagram et WhatsApp et à utiliser les données collectées pour entraîner ses produits, devaient initialement entrer en vigueur le 30 octobre, le jour même de l’annonce. Après des plaintes d’éditeurs auprès des autorités de la concurrence de l’UE et du Royaume-Uni, Meta a indiqué à Reuters le 23 octobre avoir repoussé cette date au 20 novembre.

Meta n’est pas la seule grande entreprise à rester en dehors de ces engagements. Amazon ne figure pas parmi les quatre, pas plus qu’Apple, dont le jeton Applebot-Extended apparaît dans de nombreuses listes de désengagement existantes. Des salariés de Meta et d’Amazon figurent pourtant dans le long tableau de remerciements du projet, aux côtés de personnes venues de Google, de Microsoft et d’OpenAI, d’éditeurs comme News Corp, le Financial Times et la BBC, et d’organisations parmi lesquelles l’Electronic Frontier Foundation, Creative Commons, l’Internet Archive et Common Crawl. Le projet précise que ces affiliations ne sont mentionnées qu’à titre d’identification, les participants de l’IETF contribuant à titre individuel.

Un projet encore sans statut

Le déploiement est inégal. Anthropic a commencé à mettre en œuvre le jeton, même si Kelley a écrit qu’il faudrait du temps pour couvrir l’ensemble de ses services et que la lecture que fait l’entreprise de ces signaux pourrait évoluer au fil des normes ; ses contrôles existants ClaudeBot, Claude-User et Claude-SearchBot restent en place. Le calendrier de Microsoft est le seul à être fixé. Le billet de blog de Google vise 2027 et sa documentation sur les robots d’exploration évoque le début de 2027, tandis qu’OpenAI ne s’est engagée que pour « les prochains mois » et affirme que le nouveau signal ne remplacera pas les contrôles robots.txt qu’elle propose déjà, comme GPTBot. Le billet d’OpenAI décrit aussi le signal comme couvrant « l’entraînement fondamental de l’IA générative », et l’entreprise n’a pas précisé si ce terme restreint la définition plus large du projet de vocabulaire.

Le jeton n’a pas non plus de statut formel pour l’instant. Le datatracker de l’IETF répertorie le texte de Kelley comme une soumission individuelle, et non comme un document du groupe de travail, et il expirera le 3 mai 2027 si aucune nouvelle version ne le remplace d’ici là. Kelley l’a proposé comme contribution au projet distinct du groupe de travail sur le rattachement des préférences aux contenus, coécrit par Gary Illyes, de Google, l’un des auteurs de la RFC 9309. Google souligne que ce plan est compatible avec le code de bonnes pratiques de l’UE pour les modèles d’IA à usage général, publié en juillet 2025, qui considère déjà robots.txt comme le principal moyen pour les éditeurs d’exprimer des préférences lisibles par les machines et demande aux signataires d’utiliser des robots d’exploration qui le respectent.

Ce qui rend ce moment remarquable, c’est l’ampleur de la solution. Après des années de procès et de batailles de licences autour de la question de savoir à qui appartient le web ouvert, la première réponse commune tient en quelques caractères dans un simple fichier texte que n’importe qui peut modifier en une minute. Pour la plupart des propriétaires de sites, la démarche pratique est brève : ajouter un groupe pour __usage_ai-training, conserver les règles existantes visant les robots d’exploration, et vérifier ce que l’interprétation de Google fait aux citations dans Gemini avant de s’y fier. Le degré de protection qu’offrira cette ligne dépendra des prochains acteurs à y adhérer ; or l’entreprise qui compte le plus de pages professionnelles sur ses plateformes n’a pas encore dit oui.

Étiquettes: , , , , ,

Ajoutez-nous sur Google

Discussion

Il y a 0 commentaire.