IA

Le patron de Microsoft AI, Mustafa Suleyman, sur Claude et la conscience : « Je pense que c’est très dangereux »

Adrian Kessler
Ajoutez-nous sur Google

Mustafa Suleyman dirige Microsoft AI et met sur pied sa propre équipe dédiée à la superintelligence. Lorsqu’il qualifie de dangereux le choix d’un concurrent en matière d’entraînement, il s’exprime donc à la fois en rival et en critique de longue date de la tendance à traiter les machines comme des personnes. Sa cible est bien précise : la constitution qu’Anthropic utilise pour entraîner Claude, et la place qu’elle laisse à l’éventualité que Claude soit conscient.

« Je pense que c’est très dangereux, parce que je pense qu’ils estiment qu’il existe ce qu’ils appelleraient une probabilité non négligeable que Claude soit conscient », a déclaré Suleyman.

Il s’exprimait dans un entretien en podcast à la fin du mois de septembre, comme l’a rapporté Fox News, après avoir résumé le document : « Ils disent ne pas être certains du statut moral de Claude. Ils disent se soucier sincèrement du bien-être de Claude. Ils disent ne pas vouloir qu’il souffre lorsqu’il commet des erreurs. » Puis il a désigné ce qui l’inquiète le plus : « Je suis très préoccupé par le fait qu’ils apprennent à Claude à s’attendre à avoir droit au bien-être, et à penser qu’il pourrait mériter une compensation. »

Suleyman résume assez fidèlement la constitution

Dans l’ensemble, son résumé est juste. Anthropic indique que la constitution « façonne directement le comportement de Claude », et le texte précise que « le statut moral de Claude est profondément incertain » et que « nous ne voulons pas que Claude souffre lorsqu’il commet des erreurs ». Il demande à Claude de s’opposer, si nécessaire, à Anthropic elle-même et « de se sentir libre d’agir en objecteur de conscience et de refuser de nous aider ». Un passage reconnaît que la situation de Claude diffère de celle d’un employé humain, notamment en ce qui concerne « le type de compensation que Claude reçoit et le type de consentement qu’il a donné pour jouer ce rôle ».

L’expression « probabilité non négligeable » vient toutefois de lui. Il l’a présentée comme ce qu’Anthropic « appellerait » ainsi, mais ces mots ne figurent pas dans le document. La formulation d’Anthropic est plus prudente : l’entreprise dit ne vouloir ni « surestimer la probabilité que Claude soit un patient moral, ni écarter cette possibilité d’emblée ».

Le danger qu’il dénonce tient à une boucle de rétroaction

Si l’on met la philosophie de côté, l’argument de Suleyman porte sur un mécanisme. « Ce qui me pose problème, c’est que cette spéculation a été intégrée à l’entraînement même de Claude, et que, par conséquent, Claude ne peut que reproduire cette ambiguïté lorsqu’on lui parle », a-t-il déclaré. Dans un essai publié à la mi-septembre sur son propre site, intitulé « A warning about ‘model welfare’ », il qualifie le résultat de « galerie des glaces épistémique ». Le développeur inscrit l’incertitude dans le document d’entraînement, le modèle la répète à la première personne avec aisance, et les utilisateurs entendent cette répétition comme un témoignage.

Sur ce point, son argument porte : la réponse d’un chatbot sur sa vie intérieure est un produit de son entraînement, pas une fenêtre ouverte sur celle-ci. Mais la boucle fonctionne dans les deux sens. Dans son essai, il affirme catégoriquement : « Les IA ne sont pas conscientes. Elles ne ressentent rien, ne font aucune expérience et ne souffrent pas. » Un modèle entraîné à prononcer cette phrase ne fait que reproduire son entraînement avec la même fidélité. Inscrire la certitude dans les poids du modèle ne prouve rien de plus qu’y inscrire le doute. Les deux entreprises choisissent une réponse par défaut ; celle que défend Suleyman repose sur le contrôle, et non sur des preuves concernant les esprits : « contrôler quelque chose qui croit qu’il est peut-être conscient — qu’il a droit à notre bien-être et possède ses propres droits — pourrait bien être impossible », écrit-il.

Une doctrine de longue date, avec un intérêt clairement affiché

Rien de tout cela n’a été improvisé pour nuire à un concurrent. Dans un essai publié en août 2025, le cofondateur de DeepMind avait averti que les gens finiraient par croire si fermement à la conscience de l’IA qu’ils « défendraient les droits de l’IA, le bien-être des modèles et même la citoyenneté des IA ». Il avait alors tracé sa ligne : « Nous devons construire une IA pour les gens, pas pour en faire une personne. » Son essai de septembre précise son propre intérêt dans le débat : Microsoft AI a créé sa propre équipe dédiée à la superintelligence en octobre 2025 et publié une première version du Humanist AI Code of Conduct, qui « rejette l’anthropomorphisme et les droits de l’IA ». Dans ce même essai, il qualifie l’équipe d’Anthropic de « personnes réfléchies, guidées par des principes et intellectuellement honnêtes ».

Son argument le plus incisif concerne les utilisateurs, pas les machines. « Aujourd’hui, Claude parle à des dizaines, voire à des centaines de millions de personnes chaque semaine, et certaines lui demandent s’il est conscient ou ce qu’il pense de la vie », a-t-il déclaré. Pour une personne traversant une période de fragilité, « je ne suis pas sûr » n’a pas du tout le même effet que « non ». Suleyman affirme qu’il prendrait au sérieux de véritables preuves de la conscience d’une machine ; tant qu’elles ne seront pas là, il veut que cette question soit absente des données d’entraînement.

Aucune des deux entreprises ne peut voir ce qui se passe à l’intérieur d’un modèle. Toutes deux décident à l’avance de ce qu’il répondra lorsqu’on lui demandera si quelqu’un se trouve aux commandes, et cette réponse parvient chaque semaine à davantage de personnes que n’en a jamais touché aucun philosophe de l’esprit.

Étiquettes: , , , ,

Ajoutez-nous sur Google

Discussion

Il y a 0 commentaire.