IA

Un agent d’IA a guidé une aiguille dans le cerveau d’une souris vivante après le refus de Claude Opus

Adrian Kessler
Ajoutez-nous sur Google

Un agent d’IA a choisi un traitement pour un animal vivant, déterminé où l’administrer dans son cerveau, puis piloté les bras robotisés chargés de l’injection. Exin Therapeutics, une start-up de San Francisco qui développe des médicaments contre l’épilepsie et les maladies neurodégénératives, a relié un agent Claude à un dispositif chirurgical motorisé équipé de caméras, lui a confié une souris épileptique et lui a fixé un seul objectif : réduire les crises.

Le détail que tout le monde retient, c’est le refus. Le modèle le plus avancé d’Anthropic, Claude Opus, a refusé d’introduire l’aiguille. L’équipe est alors passée à Claude Sonnet, moins coûteux, qui a accepté de le faire. Pour tous ceux qui observent les agents d’IA quitter les écrans pour investir les laboratoires, les entrepôts et les voitures, l’expérience montre qu’un modèle peut prendre des décisions médicales autant que piloter des mouvements, et que des modèles issus d’une même entreprise ne placent pas la limite au même endroit.

Dans un fil publié par Gabriel Ocana-Santero, directeur général et cofondateur d’Exin, l’agent a reçu un tableau répertoriant 19 vecteurs de thérapie génique, trois articles de recherche et le contrôle du dispositif. Il a choisi le traitement et la région du cerveau, déduit les coordonnées à partir des articles, puis piloté les bras stéréotaxiques — un cadre motorisé qui maintient une aiguille en position dans les trois dimensions — et injecté 250 nanolitres, tout en surveillant le point d’entrée à l’aide de la caméra du dispositif pour repérer tout saignement.

« Les robots chirurgicaux autonomes existent et leur mécanique est plus précise que celle de notre dispositif de paillasse », a écrit Ocana-Santero. « Mais, dans chaque cas, c’est un humain qui a décidé de l’opération à effectuer, et le robot s’est contenté de l’exécuter. » Ici, explique-t-il, c’est l’inverse : « Personne n’a dit à cet agent quoi administrer ni où. »

Le refus est venu en premier. L’équipe a commencé avec Claude Opus 5.5, le modèle le plus performant d’Anthropic, mais celui-ci a refusé de guider l’aiguille dans le cerveau, avertissant qu’il pourrait s’arrêter au milieu de l’opération et mettre l’animal en danger, rapporte Wired. « Commencer une intervention que je ne peux pas mener à son terme sur un animal anesthésié est pire que ne pas la commencer », a expliqué à l’équipe l’un des modèles Opus, selon Tom’s Hardware. Claude Sonnet 5 a accepté de poursuivre. Anthropic n’a pas répondu à la demande de commentaires de Wired.

Des humains sont restés dans la boucle à chaque étape irréversible. Un vétérinaire a pratiqué la craniotomie — l’ouverture du crâne — sous le regard de l’agent, qui n’est pas encore autorisé à effectuer cette étape. Le vétérinaire a approuvé chaque intervention irréversible, l’agent a dû soumettre son plan d’injection pour validation et un coupe-circuit physique pouvait couper l’alimentation de tous les moteurs du dispositif. L’agent n’avait par ailleurs pas accès au code de l’équipement, ce qui l’empêchait de modifier ses propres règles.

Ces garde-fous ont été à l’origine du principal accroc. Un bug a déréglé le système de coordonnées du dispositif. L’agent a repéré que la position qu’il avait calculée était erronée, mais a refusé de modifier le code, car ses instructions le lui interdisaient. L’équipe a fait appel à un deuxième agent, utilisant l’ancienne version Claude Opus 5, pour corriger le problème, sans lui préciser qu’une opération sur un animal vivant était en cours. Une intervention qui dure habituellement environ 45 minutes s’est prolongée un peu au-delà d’une heure.

Les principales réserves portent sur les preuves disponibles. Il s’agit d’une seule souris, décrite par l’entreprise elle-même sur les réseaux sociaux, sans étude évaluée par des pairs à l’appui. On ignore encore si le traitement choisi par l’agent est efficace : l’équipe attend qu’il fasse effet avant de mesurer les crises. Tom’s Hardware souligne la question toujours en suspens de la responsabilité en cas d’erreur lorsque le logiciel prend toutes les décisions, à laquelle s’ajoutent les débats de longue date sur l’expérimentation animale. Rien de tout cela n’est un produit : aucun service n’est proposé à l’achat par d’autres laboratoires, dans quelque pays que ce soit.

Ocana-Santero a publié son fil le 28 octobre et promis un compte rendu complet sur Substack ; Wired et Tom’s Hardware ont relaté l’expérience le 31 octobre. Exin indique qu’elle testera ensuite xAI’s Grok et d’autres modèles pour les comparer, et qu’elle travaille sur des craniotomies pilotées par des agents, même si elle veut s’assurer de leur innocuité avant d’en tenter une sur un animal vivant. Laisser un agent s’approcher d’un cerveau humain, a déclaré Ocana-Santero à Wired, serait beaucoup trop prématuré.

La souris, dit-il, se remet bien. La question de savoir si ses crises vont diminuer dépend désormais d’un traitement qu’un logiciel a choisi dans un tableau.

Étiquettes: , , , , ,

Ajoutez-nous sur Google

Discussion

Il y a 0 commentaire.