Nate Soares, le chercheur en IA qui a cessé d’épargner pour sa retraite

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Naissance	1989
Profession	Chercheur en intelligence artificielle

Nate Soares possède toujours le compte d’épargne-retraite qu’il a ouvert chez Google. Cela fait une dizaine d’années qu’il n’y a plus versé d’argent. Ce n’est pas par négligence : le président du Machine Intelligence Research Institute pense qu’une intelligence artificielle surhumaine tuera probablement tout le monde avant qu’il soit assez âgé pour en profiter. Aujourd’hui, il l’affirme en public avec le calme impassible d’un ingénieur qui énonce le résultat d’un test. « Je ne suis pas vraiment du genre à penser que l’IA va provoquer une apocalypse de l’emploi », a-t-il déclaré à un journaliste cet automne. « Je suis du genre à penser que l’IA va tuer tous les humains. » La question qui anime son travail est celle qu’il refuse de considérer comme réglée : quelqu’un qui s’attend au pire peut-il encore convaincre ceux qui développent cette technologie de s’arrêter ?

Ce qui le rend difficile à écarter, c’est son parcours. Soares n’est pas un philosophe qui se serait tourné tardivement vers l’informatique. Il a étudié l’informatique et l’économie à l’université George Washington, puis a développé des logiciels pour le gouvernement fédéral, d’abord comme chercheur associé au National Institute of Standards and Technology, puis comme prestataire du département de la Défense, où il concevait des outils pour la National Defense University. Il a ensuite travaillé chez Microsoft et Google, ces entreprises mêmes que, aujourd’hui, il demande aux gouvernements de mettre au pas.

En 2014, au milieu de la vingtaine (il est né en 1989), il a quitté Google pour rejoindre une petite organisation à but non lucratif de Berkeley, en Californie. Depuis des années, celle-ci s’attaquait à une question que la plupart des acteurs du secteur tenaient pour de la science-fiction : comment faire en sorte qu’un esprit plus intelligent que le vôtre fasse ce que vous vouliez ? Chercheur au MIRI, Soares est devenu le principal auteur du programme de recherche technique de l’institut, rédigé avec Benya Fallenstein et publié par la suite sous le titre « Agent Foundations for Aligning Machine Intelligence with Human Interests ». En janvier 2015, ce programme a été cité dans « Research Priorities for Robust and Beneficial Artificial Intelligence », l’article de Stuart Russell, Daniel Dewey et Max Tegmark qui accompagnait une lettre ouverte appelant les chercheurs en IA à accorder autant d’importance aux retombées sociales de leurs systèmes qu’à leurs seules capacités.

De cette même période date l’article qui a donné à son domaine une partie de son vocabulaire. « Corrigibility », écrit avec Fallenstein, Eliezer Yudkowsky et Stuart Armstrong et présenté lors d’un atelier de l’AAAI au début de 2015, s’intéressait à un problème en apparence simple, mais qui ne l’est pas : un système suffisamment performant pour être utile peut aussi l’être assez pour résister aux tentatives de le corriger ou de l’éteindre. Soares et Yudkowsky affirment que cet article a introduit l’expression « AI alignment problem », désormais employée par les laboratoires mêmes dont ils contestent les projets.

Plus tard en 2015, Soares a succédé à Luke Muehlhauser au poste de directeur exécutif du MIRI, qu’il a occupé pendant huit ans. Sous sa direction, l’institut s’est consacré aux mathématiques abstraites plutôt qu’à des produits : théorie de la décision, incertitude logique, question formelle de la manière dont un agent devrait raisonner sur lui-même. Il a cosigné « A Formal Approach to the Problem of Logical Non-Omniscience » avec Scott Garrabrant et d’autres chercheurs, ainsi que « Cheating Death in Damascus », un article sur la théorie de la décision écrit avec Benjamin Levinstein et paru dans The Journal of Philosophy en 2020. En 2017, il est retourné chez Google pour présenter les problèmes encore ouverts dans le domaine de l’alignement et soutenir qu’ils étaient plus difficiles que ne le pensait la communauté. Sur son blog, Minding Our Way, il a également publié Replacing Guilt, une série d’essais sur la motivation que les lecteurs peuvent désormais acheter sous forme de livre. Dans certains milieux, cet ouvrage l’a fait connaître davantage pour ses conseils sur la manière de travailler que pour ses réflexions sur les machines.

Le tournant a eu lieu en 2023. Le MIRI a annoncé qu’il délaissait la recherche sur l’alignement pour se consacrer à la sensibilisation des responsables politiques et du public, tout en continuant à soutenir certains travaux techniques. Soares a quitté la direction exécutive pour devenir président, tandis que Malo Bourgon prenait le poste de directeur général. En 2025, Soares a expliqué à The Atlantic qu’il se consacrait à la sensibilisation du public, car le développement de l’IA avançait trop vite pour que des garde-fous suffisants puissent être mis en place.

De ce changement de cap est né If Anyone Builds It, Everyone Dies, écrit avec Yudkowsky et publié par Little, Brown en septembre 2025. Le titre résume la thèse. Une superintelligence conçue « avec des techniques qui ressembleraient, même de loin, à celles d’aujourd’hui » conduirait très probablement à l’extinction de l’humanité ; la recherche sur l’alignement est loin d’être prête, et seule une réglementation internationale peut empêcher les développeurs de se lancer dans une course vers des systèmes que les auteurs jugent catastrophiquement dangereux. En octobre 2025, le livre a figuré sur la liste des best-sellers du New York Times. Une édition espagnole a ensuite été publiée par Planeta, puis Hayakawa Shobo a fait paraître une traduction japonaise en avril 2026.

L’accueil réservé au livre a mis en évidence le maillon faible de l’argumentation. Certaines des critiques les plus sévères sont venues de personnes qui partagent les inquiétudes des auteurs. Will MacAskill, l’un des fondateurs du mouvement de l’altruisme efficace, a jugé le livre décevant, estimant qu’il reposait sur des arguments fragiles, construits autour d’une analogie avec l’évolution et d’une hypothèse implicite selon laquelle les progrès de l’IA se feraient par bonds plutôt que par étapes. La critique de Clara Collier dans Asterisk portait un titre résumant la frustration des lecteurs pourtant sensibles à ces préoccupations : « More Was Possible ». Il y a aussi une contradiction embarrassante sur laquelle Soares s’attarde rarement. Le MIRI a consacré des années à tenter de résoudre le problème de l’alignement, avant de conclure qu’il ne le serait pas à temps. On peut y voir une preuve d’honnêteté intellectuelle ou l’aveu que son propre programme de recherche a échoué. Pour défendre sa certitude, il recourt à une analogie avec les échecs : il peut être sûr que Magnus Carlsen le battra sans savoir quelle pièce lui donnera échec et mat. Pour ses détracteurs, c’est précisément là que réside le problème : annoncer l’issue sans expliquer les coups qui y conduisent.

Rien de tout cela ne l’a fait fléchir. En octobre 2026, dans The Most Interesting Thing in AI, le podcast animé par Nicholas Thompson, il a déclaré qu’il estimait à plus d’une chance sur deux la probabilité que l’humanité ne connaisse pas une décennie supplémentaire, et a expliqué pourquoi son compte 401(k) était resté intact. Au cours du même entretien, il a insisté sur le fait que l’issue n’était pas écrite d’avance. « Je fais tout ce que je peux pour empêcher cette éventualité. Je ne pense pas que ce soit inévitable », a-t-il dit, avant d’invoquer l’essai de C.S. Lewis « On Living in an Atomic Age ». Celui-ci soutenait que, si la bombe devait tomber, elle devrait trouver les gens occupés à des activités sensées et humaines plutôt que recroquevillés de peur. Soares le formule ainsi : « Qu’elle nous trouve en train de faire pression sur nos gouvernements pour qu’ils concluent des traités de non-prolifération nucléaire. »

C’est le rôle qu’il a choisi. Il reste président du MIRI et consacre son temps aux entretiens, aux conférences et aux séances d’information, avec l’objectif de transformer une inquiétude issue de la recherche et encore marginale en un accord international visant à interrompre la course à la superintelligence. Le compte d’épargne-retraite de Google est toujours ouvert. Il a simplement cessé de miser dessus.

Étiquettes: intelligence artificielle, Google, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares, sûreté de l'IA

Personnalités liées

Personnalités liées

Discussion