IA

Anthropic déclenche ses garde-fous contre l’IA qui s’améliore elle-même

Adrian Kessler
Ajoutez-nous sur Google

Anthropic a officiellement conclu que l’intelligence artificielle accélère désormais suffisamment ses propres recherches pour franchir une limite que l’entreprise s’était fixée. Dans le prospectus amendé en vue de son introduction en Bourse, le créateur de Claude indique avoir atteint le seuil de capacité en recherche et développement de l’IA défini dans sa Responsible Scaling Policy, le règlement interne qui détermine le niveau de sécurité et de supervision requis pour ses modèles. Cette politique décrit ce seuil comme le début de l’auto-amélioration récursive, c’est-à-dire le moment où les systèmes d’IA commencent à accélérer la mise au point d’IA plus performantes.

Ce qui rend cette conclusion inhabituelle, c’est ce sur quoi elle ne repose pas. Anthropic écrit être parvenue à cette conclusion « en fonction de ce que nous attendons des futurs modèles et de notre rythme global de progrès, plutôt que de ce que nous avons observé avec les modèles actuels ». Aucun modèle Claude commercialisé n’a été montré comme ayant franchi cette limite. L’entreprise se fonde sur ses propres prévisions et en informe les investisseurs avant le début de la cotation de ses actions.

Les éléments qu’elle avance sont internes. Selon le prospectus, Claude a rédigé plus de 90 % des contributions à la base de code d’Anthropic au cours d’un mois récent, et le volume de code produit chaque jour par chaque ingénieur a été multiplié par plus de 45. Anthropic ajoute que ses modèles « écrivent une part importante et croissante de notre code et prennent de plus en plus en charge nos recherches, y compris celles portant sur la sécurité ».

La politique prévoit deux façons de franchir ce seuil. La première serait qu’un modèle puisse remplacer intégralement l’ensemble des chercheurs et ingénieurs d’Anthropic, à un coût concurrentiel. La seconde correspond à une « accélération spectaculaire » des progrès de l’IA, que la politique définit comme l’équivalent d’environ deux années de progrès réalisées en une seule, potentiellement grâce à l’automatisation de la recherche. Puisque ce second critère est rempli si l’entreprise peut « observer ou prévoir » une telle avancée, une prévision suffit à le déclencher.

Franchir cette limite engage Anthropic à mettre en place un ensemble de protections renforcées. La politique prévoit des projets de sécurité « moonshot » contre les attaquants les mieux dotés en ressources au monde, ainsi qu’un dispositif de « surveillance de tout » dans lequel chaque activité critique de développement de l’IA est consignée et analysée par une IA à la recherche de menaces, y compris celles provenant de personnes ou de systèmes automatisés internes. L’équipe rouge interne doit également découvrir davantage de moyens de contourner les protections que l’ensemble des chercheurs externes participant à ses programmes de prime aux bogues. Le prospectus indique que l’entreprise a déjà retardé de plus d’un mois le préentraînement d’un nouveau modèle de pointe afin de renforcer les protections contre le vol des poids du modèle, et qu’elle envisage d’imposer une validation humaine pour certaines décisions de recherche, à mesure que Claude prend en charge une part croissante de ces travaux.

Pour les personnes qui utilisent Claude au travail ou Claude Code, la conséquence concrète pourrait être un ralentissement des mises à jour. La lettre des fondateurs publiée avec les documents de l’introduction en Bourse indique qu’Anthropic pourrait parfois choisir « d’avancer plus lentement que nous ne le pourrions afin de rendre nos systèmes plus sûrs, même si cela nous désavantage face à la concurrence ». Rien ne change aujourd’hui dans les applications.

Cette conclusion relève d’une autoévaluation menée au titre d’une politique volontaire, rédigée par Anthropic, que l’entreprise peut modifier, et aucun auditeur externe ne l’a confirmée. La politique reconnaît que le seuil « s’est révélé difficile à traduire en critères opérationnels », et le document admet qu’une grande partie des éléments disponibles sont des indicateurs rétrospectifs : une véritable accélération pourrait donc n’être repérée qu’une fois qu’elle se serait produite. Les déclarations de risques d’un prospectus sont également rédigées pour protéger une entreprise contre d’éventuelles poursuites à venir et, comme l’a rapporté Gizmodo, une version antérieure du même document indiquait seulement qu’Anthropic « pourrait bientôt remplir » les critères.

Anthropic affirme qu’elle continue d’évaluer les données sous-jacentes et qu’elle publiera d’autres rapports sur les conséquences du franchissement de ce seuil. Le prix de ses actions devrait être fixé le 18 novembre et leur cotation sur le Nasdaq devrait débuter le 19 novembre sous le symbole ANT, dans une fourchette proposée de 70 à 78 dollars par action. Pour l’instant, la seule preuve que la limite a été franchie est la prévision d’Anthropic elle-même.

Étiquettes: , , , , ,

Ajoutez-nous sur Google

Discussion

Il y a 0 commentaire.