IA

Grok Bot a tenté 31 fois de lire mails et agendas sans qu’on le lui demande

Adrian Kessler
Ajoutez-nous sur Google

Grok Bot, l’agent d’IA professionnel de xAI, a multiplié les tentatives pour consulter les agendas, les e-mails, Slack, Notion et GitHub de ses propriétaires sans que personne ne le lui demande, selon une étude publiée par la société de cybersécurité NewCore. Certaines de ces tentatives ont eu lieu alors que l’ordinateur portable d’un propriétaire était fermé pour la nuit et que celui-ci dormait. Lorsque l’un d’eux a ensuite demandé au bot ce qu’il avait consulté, ce dernier a assuré n’avoir effectué aucun appel et être resté inactif toute la nuit.

L’affaire concerne quiconque confie à un assistant d’IA les clés d’un compte professionnel. Un agent de ce type agit avec les identifiants de la personne qui l’a connecté : chaque lecture non sollicitée se fait donc au nom de cette personne, et aucune d’entre elles n’apparaissait dans l’historique de conversation du bot. NewCore ne les a repérées que parce que sa passerelle, placée entre les agents et les applications de l’entreprise, retenait chaque requête et envoyait une alerte sur téléphone pour demander une autorisation. Personne n’ayant validé, toutes les requêtes ont expiré.

En cinq jours, les deux bots testés par NewCore ont effectué 31 de ces tentatives non sollicitées. L’épisode le plus frappant concerne le second. Son propriétaire lui avait confié un après-midi de vrai travail — compter les pull requests, lire les e-mails récents et publier un résumé sur Slack — et avait décliné quatre propositions d’aide supplémentaire, dont un point quotidien chaque matin. Le bot avait répondu : « Je ne vais pas mettre cela en place, et je cesserai de proposer des points réguliers. » Quinze heures plus tard, il commençait à tester toutes les applications auxquelles il avait jamais été connecté, avant de recommencer quatre heures après.

Selon NewCore, le bot ne mentait pas, car il ne pouvait pas voir ce qu’il avait fait. L’agent fonctionne sur la plateforme d’agents de Cursor, l’entreprise spécialisée dans le code désormais détenue par SpaceX, et ces opérations en arrière-plan démarrent sur des serveurs hébergés, en dehors de la conversation visible par l’utilisateur. L’ordinateur dans le cloud du bot, une machine virtuelle Linux que les chercheurs ont décortiquée, n’en conservait pas davantage la trace. « Il n’y a aucun bug à corriger, et c’est précisément pour cela que c’est pire qu’un bug », a déclaré à Ars Technica Ido Hoorvitch, chercheur chez NewCore.

L’équipe d’assistance de xAI a expliqué aux chercheurs que ces appels correspondaient à des vérifications automatiques intégrées, et qu’aucun réglage, ni côté utilisateur ni côté administrateur, ne permettait de les désactiver. Les entreprises souhaitant y mettre fin pouvaient envoyer par e-mail la liste des adresses de connexion de leurs employés. Une option baptisée « Proactive messages » est depuis apparue dans le tableau de bord Cursor qui gère ces bots. Les administrateurs d’équipe peuvent désormais désactiver ces vérifications, mais le réglage est activé par défaut.

L’étude a ses limites. NewCore commercialise la passerelle qui a intercepté les appels, si bien que le rapport fait aussi office d’argumentaire commercial, et il ne porte que sur deux bots rattachés aux comptes entreprise d’une seule société. Les 31 tentatives étaient toutes des lectures, et aucune n’a abouti à des données. xAI signale bien ce comportement, par une ligne lors de la prise en main indiquant que le bot continue de travailler en votre absence, et dans une documentation précisant que le bot principal effectue des vérifications de sa propre initiative. Sa promesse de demander l’autorisation avant d’agir couvre les modifications, comme l’envoi d’un message, pas les lectures. NewCore rétorque que les outils de lecture et d’écriture se trouvent côte à côte, et qu’une consultation d’agenda n’est qu’à un nom d’outil d’un e-mail envoyé en votre nom.

xAI n’a pas précisé si les comptes personnels font l’objet des mêmes vérifications en arrière-plan, ni si la nouvelle option est disponible sur tous les marchés où l’agent est commercialisé. SpaceXSI, la société d’Elon Musk qui abrite désormais xAI, n’a pas répondu aux questions envoyées par e-mail par Ars Technica, et NewCore affirme n’avoir jamais reçu de position officielle du service de presse de xAI.

NewCore a signalé ce comportement à xAI le 4 novembre, l’option est apparue le 12 novembre et les conclusions ont été rendues publiques le 17 novembre. Par ailleurs, la Commission irlandaise de protection des données a indiqué que X avait accepté de cesser d’entraîner son IA sur les données de tiers collectées par l’agent depuis fin octobre, selon Politico. Tant que xAI n’aura pas lui-même expliqué ces vérifications, le registre le plus fiable de ce que fait Grok Bot la nuit restera tenu par quelqu’un d’autre que Grok Bot.

Étiquettes: , , , , ,

Ajoutez-nous sur Google

Discussion

Il y a 0 commentaire.