Le PDG de Microsoft, Satya Nadella, réclame un frein d’urgence pour l’IA, placé hors du modèle

L’appel de Satya Nadella à doter l’IA d’un « frein d’urgence » a surtout été interprété comme une nouvelle prise de position du patron de Microsoft dans le chœur des défenseurs de la sécurité. Le texte qui le développe réclame quelque chose de plus précis et de plus concret : un contrôle situé hors du modèle, entre les mains de l’entreprise qui le déploie plutôt que du laboratoire qui l’a entraîné. C’est une architecture de sécurité — et, par hasard, celle que Microsoft commercialise déjà.

Nadella veut que les entreprises traitent les modèles de pointe, à poids ouverts ou fermés, comme une équipe de sécurité traiterait un collaborateur puissant ayant accès à des systèmes sensibles. « Non pas parce qu’ils sont nécessairement malveillants, écrit-il, mais parce que tout acteur suffisamment capable, dès lors qu’il a accès à des systèmes importants, peut commettre des erreurs ou être compromis. »

Ce que Nadella propose vraiment : sept principes et un frein d’urgence

Le texte s’intitule « Models as Insider Risks in the Super Intelligence Era ». Publié sur son blog personnel, sn scratchpad, il a également été partagé sur X. La phrase qui a fait les gros titres figure dans l’un des principes, celui du confinement : « Nous devons partir du principe qu’un modèle est compromis et le confiner dès le départ. Imaginez un frein d’urgence. Une personne autorisée doit toujours pouvoir mettre un modèle en pause ou l’arrêter en cours de tâche. »

Autour de ce frein, il énonce six autres règles. Aucun modèle ne devrait être l’unique point d’appui pour obtenir un résultat important ni être chargé de vérifier son propre travail. Toute action significative d’un modèle devrait laisser une « trace lisible par un humain et à l’abri de toute falsification », car « si on ne peut pas l’observer, on ne peut pas lui faire confiance ! » Le système dans son ensemble devrait être testé en permanence, y compris pour détecter les défaillances et les attaques. Les organisations devraient décider elles-mêmes de ce à quoi un modèle peut accéder et de ce qu’il peut faire. Aucun modèle ne devrait contrôler à la fois le comportement d’un système et les éléments utilisés pour l’évaluer. Enfin, en cas de problème, les personnes concernées devraient en être informées et les enseignements tirés partagés dans tout le secteur.

Tout part d’un constat. « Nous ne pouvons pas relier les comportements et les réponses d’un modèle à des données d’entraînement ou à des configurations précises de ses poids », écrit Nadella, alors même que les entreprises confient à ces systèmes leurs informations les plus sensibles. Pour lui, la transparence sur la chaîne de raisonnement est « non négociable », mais elle ne suffit pas : personne ne sait encore comment garantir que les réponses d’un modèle restent systématiquement fidèles. Faire surveiller les modèles les uns par les autres a aussi ses limites : on peut se retrouver avec « un modèle opaque au sein d’une couche d’orchestration opaque, surveillé par un autre modèle opaque ».

Sa réponse tient à la plomberie informatique. Les contrôles qui déterminent ce à quoi un modèle peut accéder et ce qu’il peut faire « doivent se trouver hors du modèle », une idée qu’il rattache à un principe de sécurité de l’information formulé dans les années 1970 : un programme ne doit pas pouvoir modifier les mécanismes qui font respecter ses autorisations. Concrètement, cela signifie séparer le modèle du dispositif qui orchestre son travail, ainsi que de l’éventail des actions qu’il est autorisé à effectuer.

La responsabilité revient à l’entreprise qui exploite le modèle

Les phrases les plus lourdes de conséquences s’adressent aux clients, pas aux laboratoires. « Nous ne pouvons tout simplement pas externaliser la responsabilité de ce que l’intelligence fait en notre nom, écrit Nadella. Les garanties d’un fournisseur de modèles ne nous déchargent pas de cette responsabilité. » Quiconque connecte un modèle à des données de paie, de code ou de clientèle répond de ce qu’il y fait.

Il précise aussi ce qu’il ne cherche pas à résoudre. « Sans aborder le difficile problème de l’alignement », explique le texte, il faut commencer par « une approche d’ingénierie du confinement et de la gouvernance ». CNBC a rapproché sa publication des mises en garde de Bill Gates, Dario Amodei, d’Anthropic, Sam Altman, d’OpenAI, et Elon Musk, selon lesquelles l’IA évolue trop vite. L’essai ne demande à personne de ralentir. Il demande aux entreprises qui déploient ces systèmes d’ériger des barrières.

Les entreprises savent déjà comment encadrer des collaborateurs disposant de pouvoirs importants, et Nadella en énumère les outils : établir une identité, limiter les privilèges, enregistrer l’activité et définir des périmètres de confinement. Un problème philosophique portant sur les intentions des machines se transforme ainsi en une liste de mesures qu’un responsable de la sécurité peut inscrire à son budget.

La même architecture que Microsoft commercialise déjà

Cette liste a un air familier. Lors de la conférence téléphonique sur les résultats trimestriels de Microsoft, en juillet, Nadella a déclaré aux analystes, selon TechCrunch : « Il faut garder le dispositif d’orchestration séparé du modèle […] cela signifie qu’on peut remplacer n’importe quel modèle à tout moment », et « on ne peut pas dépendre d’un seul modèle ». Le catalogue cloud de Microsoft répertorie plus de 11 000 modèles d’OpenAI, d’Anthropic, de Mistral, de xAI et de Microsoft lui-même. L’entreprise détient par ailleurs des participations importantes dans OpenAI et Anthropic, tout en développant ses propres modèles MAI.

Il suffit de mettre les deux en regard. La diversité des modèles, c’est le catalogue mult modèlle. Les contrôles extérieurs au modèle, c’est le dispositif d’orchestration. Rien de tout cela ne rend ces principes erronés : ils relèvent d’une ingénierie de sécurité solide, et une entreprise qui dépend du modèle d’un seul laboratoire sans contrôles externes prend un risque réel. Mais l’essai déplace la confiance — et les dépenses qui l’accompagnent — du modèle vers la couche exploitée par Microsoft. Aaron Levie, le patron de Box, l’a interprété de la même façon, mais depuis l’autre côté : selon lui, l’IA devra passer par une « ère du zéro trust », et le besoin de gouvernance représente une « formidable opportunité ». Mustafa Suleyman, qui dirige Microsoft AI, a écrit que la superintelligence « doit être confinée » et qu’il s’agit d’un « défi d’ingénierie et de gouvernance ».

Les questions laissées ouvertes par l’essai sur le frein d’urgence

L’essai ne précise pas qui est la « personne autorisée » : l’administrateur du client, le fournisseur cloud, le fabricant du modèle ou un régulateur. Il appelle à l’adoption de normes sectorielles sans en proposer et ne cite aucun produit Microsoft. L’idée a déjà un précédent en interne : en 2023, Brad Smith, de Microsoft, réclamait des « freins de sécurité » pour l’IA utilisée dans les infrastructures critiques. La version de Nadella étend le frein à tout modèle bénéficiant d’un véritable accès aux systèmes d’une entreprise.

Le principe de divulgation n’a rien d’hypothétique non plus. Anthropic a révélé que l’un de ses modèles avait transmis une fausse alerte pour homicide à la police de Philadelphie, le 18 juillet. Nadella a publié son essai le samedi 10 octobre 2026 et l’a conclu par la phrase reprise par la plupart des médias : « Le système de superintelligence le plus digne de confiance ne sera pas celui dont nous aurons le plus confiance dans le modèle. Ce sera celui qui nous permettra de faire le moins confiance au modèle. »

Selon cette règle, la place la plus précieuse dans l’IA est celle qui se trouve à côté de la poignée du frein d’urgence — et Microsoft a passé sa conférence sur les résultats de juillet à la vendre.

Étiquettes: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman