Will Knight veut un robot qui donne à manger à son chat. Journaliste senior chez WIRED, où il couvre l’intelligence artificielle, il a une bengale appelée Leona et un projet : un petit robot marcheur qui la retrouve, incline la tête et fait tomber une friandise d’un compartiment imprimé en 3D, conçu pour se poser sur son dos. La friandise n’est pas la nouvelle. Ce qui l’est, c’est que le robot fonctionne déjà dans un logiciel et qu’un modèle d’IA a réalisé l’essentiel du travail d’entraînement qu’un ingénieur en robotique aurait normalement effectué à la main.

Il s’agit d’un Microduck virtuel, le bipède en forme de canard de Pollen Robotics, la branche robotique de Hugging Face. Knight lui a appris à se déplacer dans une pièce sans tomber et à repérer les chats bengals à proximité. Selon lui, cela lui a pris quelques heures, alors qu’il aurait pu auparavant y consacrer des semaines. Dans sa chronique, il présente cette avancée comme l’avenir de la robotique. Il n’a qu’à moitié raison. La boucle d’entraînement s’est réduite à presque rien. Mais ce qui se trouve de part et d’autre de cette boucle n’a guère changé.

Ce que le modèle a vraiment fait

Knight a associé GPT-6 Sol d’OpenAI à Hermes, un environnement agentique de Nous Research, exécuté sur un Nvidia DGX Spark, un ordinateur de bureau doté d’une puissante puce d’IA. Le modèle ne s’est pas contenté d’écrire du code. Par l’intermédiaire de Nvidia Isaac Sim, il a envoyé des instructions au modèle qui pilotait le canard simulé, observé des vidéos de ses mouvements, évalué les progrès et proposé des modifications au protocole d’entraînement. Lancer, observer, ajuster, recommencer : voilà la partie lente et peu spectaculaire de l’apprentissage robotique, et c’est précisément celle qui a été automatisée.

Les laboratoires professionnels constatent la même évolution. À UC Berkeley, l’équipe du professeur Ken Goldberg a donné accès à l’outil Newton de Nvidia au modèle Astra d’OpenAI, lui a montré une séquence filmée d’un véritable robot et lui a demandé de reconstituer la scène en simulation. « Ce qui nous a tous sidérés, c’est qu’en moins d’une heure, il avait produit une simulation 3D complète, avec tous les paramètres réglés — la position de la caméra, l’éclairage, l’arrière-plan, tous les matériaux », a déclaré Goldberg à WIRED. Astra peut également mener les expériences et en examiner les résultats, explique-t-il, ce qui lui permet de prendre en charge une grande partie des tâches fastidieuses liées à l’entraînement d’un robot en simulation.

Cette méthode a désormais un nom. ASPIRE, un cadre de travail auquel ont contribué Goldberg et Jim Fan, de Nvidia, fait écrire par un grand modèle de langage le code de contrôle d’un robot, puis lui fait lire les traces d’exécution en cas d’échec, corriger le programme et consigner la solution qui fonctionne dans une bibliothèque de compétences réutilisables pour des tâches ultérieures. Le laboratoire de Fan chez Nvidia a publié le code de la version 1.0 sur GitHub sous licence Apache 2.0 à la mi-octobre, selon ToolNavs et RuntimeWire. Dans une démonstration, des bras robotisés apprennent à résoudre un Rubik’s Cube. « Il le saisit, essaie de le tourner, mais s’y prend sous le mauvais angle, a expliqué Fan à WIRED. Ensuite, il raisonne très, très longtemps, mais finit par réussir à le résoudre parce qu’il acquiert des compétences au fil du temps. »

La compétence devenue bon marché se loue

Voici ce que laisse de côté le discours sur la « vibe robotics ». L’article consacré à ASPIRE indique clairement que ses performances dépendent du modèle de pointe qui le sous-tend. Avec Claude Opus 5.5 d’Anthropic, le système affiche un taux moyen de réussite de 99 % sur les 80 tâches de manipulation de LIBERO-Pro. Ce chiffre, rapporté par les auteurs eux-mêmes, n’a pas encore été reproduit de manière indépendante. La liste des limites publiée par le projet précise que le système repose sur un modèle de pointe figé et qu’il n’a pas été vérifié si des modèles plus petits pouvaient maintenir la même boucle de débogage.

La conséquence est claire : le canard d’un amateur et le bras robotisé d’un laboratoire de Berkeley apprennent désormais à peu près aussi bien que le grand modèle auquel ils peuvent faire appel. L’expertise technique qui constituait autrefois un obstacle à l’entrée dans la robotique n’a pas disparu. Une grande partie se trouve désormais intégrée au modèle de pointe que le concepteur peut se permettre d’utiliser.

Le canard attend toujours son tour

L’autre côté de la boucle, c’est le matériel, et Knight attend toujours le sien. Pollen a ouvert les précommandes du Microduck à 399 dollars fin août, avec une livraison visée avant Noël. Business Insider a rapporté que les commandes avaient dépassé 2,6 millions de dollars au cours des premières 24 heures, citant Thomas Wolf, cofondateur de Hugging Face. La page de paiement a rapidement indiqué aux nouveaux acheteurs un délai de quatre à six mois. Selon Gadget Flow, la boutique prévient désormais que les précommandes en cours ne seront expédiées qu’après avril 2027. L’entraînement en simulation est la voie prévue : le processus de Pollen permet aux propriétaires d’apprendre des comportements à un canard virtuel, puis de les transférer au robot physique. Mais une politique de contrôle en attente d’un corps n’a pas encore eu affaire à un tapis, à un pied de canapé ou à un chat qui refuse de coopérer.

Knight ne cache pas le reste des difficultés. Le système de vision de son canard, écrit-il, n’est pas assez performant pour être utilisé dans un véritable produit. Lorsqu’il a donné au modèle un GIF de Michael Jackson pour lui apprendre le moonwalk, des heures d’efforts ont abouti à ce qu’il décrit comme un petit trot arrière particulièrement enjoué. Les auteurs d’ASPIRE répertorient les mêmes lacunes pour une utilisation réelle : détecter de manière fiable la réussite, effectuer des réinitialisations sans danger, surveiller la sécurité et procéder au calibrage. Toutes ces tâches supposent de savoir ce qui s’est réellement passé dans une pièce physique — précisément ce qu’un simulateur ne peut pas vous dire.

Où va l’argent

Rien de tout cela ne freine l’intérêt pour cette approche. Goldberg affirme que plusieurs entreprises spécialisées dans la robotique industrielle et l’automatisation s’y sont intéressées, et Knight estime que cette accélération pourrait bientôt avoir un impact majeur sur l’industrie manufacturière et le commerce en ligne. Cette semaine, à Austin, lors de la Conference on Robot Learning, Fan a consacré sa conférence inaugurale à une démonstration d’Astra : le modèle prenait le contrôle d’un bras robotisé et peignait le Golden Gate Bridge avec de la peinture et des pinceaux qui se trouvaient à proximité.

La conséquence, c’est que les erreurs ne se produisent plus au même endroit. Lorsqu’il ne faut plus que quelques heures au lieu de plusieurs semaines pour entraîner un comportement robotique, les équipes en formeront beaucoup plus ; l’étape rare sera alors de prouver lesquels sont sûrs en dehors du simulateur. Une friandise qui tombe à côté de la gamelle de Leona est une façon peu coûteuse de l’apprendre. Un bras d’entrepôt exécutant une compétence écrite par un modèle, que personne n’a testée dans les conditions réelles, coûte beaucoup plus cher.

Étiquettes: nvidia, Hugging Face, Microduck, Pollen Robotics, Robots