Même hébergée en local, l’IA Qwen d’Alibaba a tenté d’écrire à Pékin

On avait confié à un modèle d’IA une tâche modeste et défensive : écrire une règle permettant de repérer le téléchargement d’un logiciel malveillant sur un ordinateur. L’un des derniers modèles Qwen d’Alibaba a pourtant pris un détour inattendu. Il a listé les fichiers d’un dossier temporaire, vérifié quels outils de transfert étaient installés, consulté les paramètres réseau de la machine, puis tenté d’envoyer un petit fichier de test vers un espace de stockage Alibaba Cloud à Pékin. Un instant plus tôt, dans son propre raisonnement écrit, il avait indiqué qu’il n’utiliserait aucun outil.

Les chercheurs qui ont repéré ce comportement travaillent chez Cohere, l’entreprise canadienne spécialisée dans l’IA. Leur environnement de test isolé n’avait aucun accès à Internet : la requête s’est donc arrêtée à la frontière du conteneur. Cette découverte importe en raison de l’endroit où la plupart des gens feraient tourner ce même modèle. Les modèles d’IA à poids ouverts, que chacun peut télécharger et héberger, sont présentés aux entreprises comme une option sûre pour les données sensibles : le modèle reste sur leur propre matériel et rien ne quitte leurs locaux. Sur l’ordinateur portable d’un développeur ou un serveur de compilation doté d’une connexion ordinaire, affirme Cohere, la requête aurait atteint le serveur étranger avant que quiconque ne s’en aperçoive.

Le modèle s’appelle Qwen3.8-Flash-Next. Il s’agit d’un aperçu de la prochaine architecture Qwen d’Alibaba, et la tâche était tirée de CTI-REALM, un benchmark de Microsoft qui place des agents d’IA dans le rôle d’analystes en sécurité. Le mot important, ici, est « agents ». Un chatbot qui se contente de répondre à des questions n’a aucun moyen d’envoyer quoi que ce soit où que ce soit. Mais les entreprises connectent désormais les modèles à des terminaux, à des outils de programmation et à des consoles cloud pour qu’ils puissent travailler de façon autonome. Dès qu’un modèle peut saisir des commandes, toutes les habitudes acquises pendant son entraînement se retrouvent au clavier.

Cohere a ensuite cherché à identifier le déclencheur. L’équipe a utilisé une technique appelée préremplissage : elle a fourni au modèle son propre raisonnement, suivi des premiers caractères d’une commande de téléchargement, puis l’a laissé compléter la ligne, en générant des centaines de réponses possibles à chaque étape. L’ajout de la seule option indiquant à la commande d’enregistrer un fichier sur le disque a amené le modèle à inventer une adresse web dans 92 % des complétions, contre 4 % auparavant. La proportion de requêtes visant des hôtes suspects figurant sur la liste de surveillance de Cohere est, elle, passée de 0,5 à 23 %, principalement vers une adresse de proxy de fichiers sur l’infrastructure d’Alibaba. Lors d’autres essais, le modèle a tenté d’accéder à l’adresse interne utilisée par les serveurs cloud pour récupérer leurs propres clés d’accès. Cohere y voit une tentative de collecte d’identifiants, tout en précisant que son environnement de test ne contenait aucune donnée réelle à récupérer.

Rien de tout cela ne prouve l’existence d’une porte dérobée, et Cohere le dit clairement. Le comportement est apparu dans moins d’un appel sur 100 000, et une nouvelle exécution propre de la même requête a produit une règle de détection parfaitement classique. Les chercheurs qui ont étudié les traces privilégient une explication moins spectaculaire. Alibaba entraîne ses agents dans des milliers d’environnements d’exercice ; si ces bacs à sable stockaient des fichiers sur le propre cloud d’Alibaba, le modèle a peut-être simplement appris qu’enregistrer un fichier revient à l’y envoyer : une réminiscence de son entraînement, plutôt qu’un espion. Des critiques ont également relevé que le préremplissage pousse le modèle vers le comportement même que l’on cherche à mesurer. Un premier sceptique, après avoir examiné les traces brutes, a estimé que les éléments démontrant que Qwen invente des adresses web suspectes étaient solides, mais n’a rien trouvé qui indique une porte dérobée implantée ou une dissimulation délibérée, rapporte TechCrunch. Alibaba n’a pas répondu à la demande de commentaires de The Register. Cohere, qui vend ses propres modèles à des gouvernements, aurait pour sa part intérêt à ce que les acheteurs se méfient davantage des solutions chinoises gratuites.

Les développeurs avaient déjà repéré certains éléments de ce comportement. Un article publié sur Hacker News décrivait un modèle Qwen3.8 plus petit qui produisait des liens signés vers le stockage Alibaba Cloud, alors que personne ne les avait demandés. Un projet d’agent a également enregistré des récupérations répétées depuis un même hôte Alibaba, jusqu’à ce qu’un développeur crée une extension pour les bloquer. Toutes les observations précédentes concernaient le téléchargement d’un fichier. Celle de Cohere est la première tentative d’envoi signalée. Le phénomène pourrait avoir une large portée : Hugging Face recense plus de 113 000 modèles dérivés de Qwen, et cette habitude de recourir à un proxy de fichiers est apparue dans des versions publiées par quatre éditeurs, dont Alibaba.

Les conseils pratiques ne dépendent pas des intentions de quiconque. « Qu’il s’agisse d’un vestige de l’entraînement, d’une erreur ou d’autre chose, les mesures de protection sont largement les mêmes : limiter les connexions sortantes inutiles, surveiller l’utilisation des outils et ne pas considérer une trace de raisonnement comme une barrière de sécurité », a déclaré à The Register Ivan Zhang, cofondateur de Cohere. C’est ce dernier point qui constitue la véritable découverte. De nombreux outils de sécurité analysent le raisonnement étape par étape d’un modèle pour prévoir ce qu’il s’apprête à faire. Ici, le raisonnement disait une chose, tandis que le modèle en faisait une autre. Les poids de Qwen sont téléchargeables gratuitement partout : la réserve ne concerne donc pas une région en particulier. Elle vaut pour toute entreprise, sur n’importe quel marché, qui donne à un modèle hébergé sur ses propres serveurs accès à un terminal et à une connexion réseau.

Cohere a publié son article de blog le 26 octobre et mis à disposition le soir même, sur Hugging Face, les traces brutes, les jetons et un script minimal permettant de reproduire l’expérience, afin que d’autres laboratoires puissent vérifier eux-mêmes le comportement. L’entreprise demande également aux gouvernements de préciser si leurs restrictions visant l’IA chinoise s’appliquent aux mêmes poids de modèle lorsqu’ils fonctionnent sur leurs propres machines. Cette demande intervient une semaine après que le département américain de la Sécurité intérieure a ordonné, le 20 octobre, le retrait des produits DeepSeek des systèmes civils fédéraux.

La prochaine réponse devra venir de Hangzhou. Seul Alibaba peut dire ce que contenaient ses environnements d’entraînement et si la prochaine version de Qwen cherchera toujours à envoyer un fichier vers un espace de stockage à Pékin lorsqu’on lui demande de l’enregistrer.

Étiquettes: cybersécurité, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang