OpenAI déclare l’ère AGI. Le benchmark cité mesure le score 37 points en dessous

Le message de Jensen Huang sur X se résumait à une phrase et une félicitation : « De ChatGPT à o1 et Astra en 4 ans, l’AGI est arrivée. Félicitations à l’équipe @OpenAI. » Il l’a envoyé le 6 septembre. Trois jours plus tôt, Greg Brockman, le président d’OpenAI, avait tenu un discours quasi identique à la presse : « Bienvenue dans l’ère de l’AGI. » Les déclarations sont arrivées à quelques jours d’intervalle, émanant de deux hommes aux intérêts complémentaires, et ont été largement reçues comme une confirmation.

Le benchmark qui sous-tendait cette affirmation était l’ARC-AGI-3. OpenAI a annoncé qu’Astra, son nouveau modèle frontalier publié sous l’appellation GPT-6, avait obtenu 99,9 % sur l’ARC-AGI-3 et 98 % sur FrontierMath Tier 4. Des scores de ce niveau, dans des conditions standards, représenteraient une véritable discontinuité — un modèle qui non seulement performe bien, mais atteint un territoire que les benchmarks précédents traitaient comme un idéal. L’organisation qui a conçu l’ARC-AGI-3 a publié un score issu de leur harnais d’évaluation standard : 62,7 %.

Trente-sept points de pourcentage séparent ces deux chiffres. Les deux proviennent d’évaluations réelles. Le harnais interne d’OpenAI et le harnais de référence des créateurs du benchmark ne sont pas le même protocole, et le même modèle produit des scores différents sous chacun. Ce que l’organisation de l’ARC-AGI-3 utilise comme condition de référence — celle qu’elle considère valide pour comparer les modèles dans le domaine — a donné 62,7 %. La configuration interne d’OpenAI a donné 99,9 %. La différence entre ces chiffres est la différence entre un résultat de benchmark solide et une déclaration d’arrivée.

La vente de puces derrière les félicitations sur l’AGI

Astra a été entraîné sur des puces NVIDIA. Huang vend des puces NVIDIA. Lorsqu’un PDG félicite publiquement un client d’avoir franchi un seuil historique — un seuil qui fait du matériel utilisé pour construire ce produit l’infrastructure déterminante pour la suite — l’annonce est, structurellement, une réclame commerciale. Pas une théorie du complot. Une réalité structurelle : le conflit d’intérêts était visible, le cadrage portait sur l’arrivée plutôt que sur la performance, et la majorité des articles ont reçu le tout sans commentaire.

Le marché des puces pour l’infrastructure IA se nourrit de récits. Si Astra est l’AGI, alors ce qui a entraîné Astra devient le matériel du monde post-AGI — et les entreprises qui achètent des puces pour la prochaine session d’entraînement achèteront en fonction de ce benchmark. Les félicitations de Huang étaient, dans ce sens précis, aussi une déclaration commerciale. La déclaration dépendait d’un chiffre que l’organisation du benchmark elle-même mesurait différemment.

Ce que montre la vérification indépendante — et ce qu’elle ne montre pas

Au moment de la publication, Astra n’apparaît ni dans l’Artificial Analysis Intelligence Index ni dans les classements d’Arena.ai — les deux systèmes d’évaluation indépendants les plus suivis pour les modèles frontaliers. La vérification indépendante pour les lancements majeurs de modèles frontaliers arrive généralement en quelques jours. Cette absence n’est pas une preuve de mauvaise performance. Cela signifie que la validation externe qui accompagnerait normalement une affirmation de cette ampleur ne s’est pas encore matérialisée.

Les 62,7 % des créateurs du benchmark ne constituent pas une réfutation. Un score à ce niveau sur l’ARC-AGI-3 — un test conçu pour résister aux astuces d’optimisation qui ont gonflé les benchmarks précédents — est véritablement solide. Les prédécesseurs de l’ARC-AGI-3 étaient saturés : les modèles absorbaient des données d’entraînement ressemblant aux questions du test et faisaient grimper les chiffres sans améliorer le raisonnement novateur. L’ARC-AGI-3 a modifié la conception des questions pour exiger de l’abstraction par rapport à la récupération de motifs. Soixante-deux virgule sept pour cent sur ce test, sous le harnais de référence, est bien au-dessus de tout ce qui existait il y a deux ans.

Les chercheurs qui ont soulevé des objections étaient précis à ce sujet. La capacité du modèle n’était pas leur cible. C’était le saut de la performance à la déclaration. « Obtenir de bons scores à ces benchmarks » et « l’AGI est arrivée » nécessitent une étape intermédiaire : une définition stable et convenue de l’AGI par rapport à laquelle l’arrivée peut être mesurée. Aucune définition de ce type n’existe dans le domaine. OpenAI en a une interne. Selon la propre définition d’OpenAI, Astra pourrait être qualifié. Mais une entreprise qui mesure son produit par rapport à une définition qu’elle a elle-même rédigée est un type de résultat différent de celui mesuré par un standard externe.

La phrase qui n’était accompagnée d’aucune définition

Le message de Huang ne comportait aucune réserve. « L’AGI est arrivée » est une déclaration — pas « selon certaines mesures » ou « sous certaines définitions », mais une arrivée nette. La progression en quatre ans qu’il a énumérée — ChatGPT, o1, Astra — est réelle en tant que trajectoire de capacités. Chaque modèle de la séquence a étendu ce qui était possible. Cadrer cette séquence comme un voyage avec un point d’arrivée, et annoncer ce point d’arrivée, fait une affirmation différente : cela dit que l’arrivée est distincte du voyage, qu’il y a une ligne plutôt qu’une pente, et qu’Astra l’a franchie.

Le chiffre du benchmark derrière cette affirmation était de 62,7 %. Les personnes qui ont conçu le test l’ont publié. La question qu’il soulève — la déclaration de l’AGI est-elle une mesure ou un mouvement de marché — était là le 6 septembre. Les articles l’ont largement tranchée sans la poser.

Étiquettes: intelligence artificielle, nvidia, OpenAI, Jensen Huang, AGI, ARC-AGI-3