IA

Claude Opus 4.8 repère quatre fois plus de ses propres erreurs de code

Susan Hill

Anthropic a fait passer son modèle le plus performant à Claude Opus 4.8, et le principal changement n’est pas un cerveau plus gros mais un cerveau plus prudent. L’entreprise affirme que le modèle est environ quatre fois moins susceptible que son prédécesseur de laisser passer sans commentaire des défauts dans le code qu’il écrit, et qu’il signale plus volontiers les parties d’une tâche dont il n’est pas sûr. Pour qui confie un vrai travail à une IA, qu’il s’agisse de coder, de mener une analyse ou de piloter un ordinateur, cette fiabilité est la caractéristique qui compte vraiment.

Le défaut des agents d’IA actuels n’est pas la bêtise mais l’assurance. Ils produisent des résultats qui semblent finis et se lisent sans accroc tout en charriant des erreurs en silence, et un système livré à lui-même a tendance à bâtir l’étape suivante sur l’erreur précédente. Confiez à un agent une tâche en plusieurs étapes et une seule hypothèse fausse au départ peut se propager dans tout ce qui suit, si bien que le travail arrive avec un air d’achevé et se révèle cassé sans qu’on le voie. Un modèle qui montre ses propres doutes, au lieu de les masquer, est plus facile à superviser, car la personne sait où regarder.

La preuve la plus nette est dans le code. Anthropic indique qu’Opus 4.8 laisse passer bien moins de défauts dans le code qu’il produit sans les signaler, ce bug silencieux qui apparaît en production et non en relecture. La société d’investissement Bridgewater Associates, parmi les premières à le tester, a déclaré que le modèle signalait de lui-même des problèmes aussi bien dans les entrées que dans les résultats d’une analyse, ce que d’autres systèmes manquaient régulièrement. Dans le travail de connaissance et la finance, l’erreur dangereuse est précisément celle que personne ne repère à temps.

Les chiffres des benchmarks appuient le cadrage sans en être le cœur. Opus 4.8 aurait obtenu 69,2 pour cent à SWE-Bench Pro, un test bâti sur de vraies tâches d’ingénierie logicielle, devant le GPT-5.5 d’OpenAI et le Gemini 3.1 Pro de Google. Selon les mesures d’Anthropic, il dépasse tous les modèles Opus précédents sur un test de code à chaque niveau d’effort et a établi le meilleur résultat jamais enregistré par l’entreprise à un examen de raisonnement juridique. Les avances sont réelles mais étroites, et les victoires en benchmark prédisent mal le comportement d’un modèle quand il abat un travail ingrat à longueur de journée.

Le modèle s’accompagne de nouveaux outils. Une fonction en aperçu de recherche dans Claude Code, baptisée dynamic workflows, permet à Opus de planifier un gros chantier puis de lancer des centaines de sous-agents en parallèle dans une seule session, pensée pour des migrations couvrant des centaines de milliers de lignes de code et prenant pour étalon la suite de tests existante du projet. Par ailleurs, un nouveau réglage dans Claude.ai et dans l’environnement Cowork de l’entreprise laisse choisir combien d’effort, et combien de jetons, le modèle consacre à une réponse.

Les réserves collent aux promesses. Les gains de fiabilité reposent en grande partie sur les tests internes d’Anthropic, et un chiffre comme quatre fois moins est une mesure maison, non auditée de façon indépendante. L’honnêteté est aussi difficile à vérifier de l’extérieur, car un modèle peut annoncer son incertitude et se tromper quand même, ou lever un drapeau au mauvais endroit. Dynamic workflows n’arrive qu’en aperçu, pas en fonction aboutie, et le récit sur la vitesse est moins généreux qu’il n’y paraît, puisque le mode rapide coûte le double du tarif standard et n’est dit moins cher que face à d’anciens prix premium.

Pour qui regarde le coût, l’accès standard reste à cinq dollars le million de jetons en entrée et vingt-cinq le million en sortie, comme l’Opus précédent. Le mode rapide tourne à environ deux fois et demie la vitesse pour dix et cinquante dollars le million, ce qui fait du nouveau réglage d’effort autant un outil de budget qu’un curseur de qualité. Claude Opus 4.8 est disponible dès maintenant via l’API pour développeurs d’Anthropic sous le nom claude-opus-4-8, et l’entreprise dit le déployer partout le même jour. Il est arrivé jeudi, environ six semaines après Opus 4.7, un intervalle inhabituellement court qui a suivi un accueil tiède pour cette version et une série de lancements concurrents d’OpenAI et de Google. La vraie épreuve sera de savoir si un modèle entraîné à douter de lui-même se révèle plus utile au quotidien qu’un modèle entraîné à briller dans un classement, et ce verdict viendra des agents que les gens laissent vraiment tourner.

Discussion

Il y a 0 commentaire.