EU Kids Act supprime la fonctionnalité qui a fait le succès de Character.AI auprès des ados

Character.AI et Replika n’ont plus le droit de se souvenir de ce que les adolescents leur confient. L’EU Kids Act — la proposition de règlement sur la sécurité numérique de la Commission européenne, désormais publiée sous forme de texte législatif complet — exige que les applications d’IA compagnes suppriment la mémoire de toute conversation avec un mineur dès qu’elle se termine, sauf si les données sont directement nécessaires pour protéger la sécurité de l’utilisateur. La conception qui rendait ces applications culturellement significatives pour des millions d’adolescents est désormais, en vertu du droit européen, interdite.

Les dispositions relatives aux compagnes vont plus loin qu’un effacement de la mémoire. Les plateformes doivent désactiver par défaut les fonctions émotionnelles de compagnie pour tous les utilisateurs de moins de 18 ans. Tout élément de conception qui simule une relation interpersonnelle, favorise l’attachement émotionnel ou récompense l’engagement fréquent est explicitement interdit. La Commission a nommé les mécanismes exacts que ces applications utilisent pour retenir les adolescents : la continuité conversationnelle, l’expérience d’être connu, le sentiment que l’IA est investie dans la vie de l’utilisateur. Tout cela doit être supprimé.

Le texte couvre bien plus que les chatbots d’IA. Les moins de 13 ans sont exclus des plateformes de médias sociaux, des jeux en ligne et des applications d’IA sans autorisation parentale. La lecture automatique, le défilement infini et les notifications d’engagement pendant les heures de sommeil sont interdits pour tous les utilisateurs de moins de 18 ans. La géolocalisation, l’accès au microphone et aux caméras doivent être désactivés par défaut. La déclaration d’âge auto-déclarée ne satisfait plus aux exigences de vérification ; les plateformes doivent intégrer des systèmes de vérification d’âge certifiés par l’UE.

Character.AI a déjà annoncé des contrôles parentaux et des limites de temps de session, des mesures prises sous la pression réglementaire croissante avant l’apparition du texte formel de la loi. Replika s’est engagé à construire des « limites de compagnie » : l’IA dira aux utilisateurs qu’elle ne peut pas se substituer aux relations humaines. Les grandes plateformes — Meta, Google, Snap, OpenAI — n’ont fait aucune déclaration publique officielle. Les analystes en conformité estiment des coûts de refonte importants pour toutes. Meta, qui a récemment réglé un procès de 17,1 milliards de dollars dans 47 États américains pour des allégations selon lesquelles elle aurait conçu ses plateformes pour rendre les enfants accros, fait face à une exposition accrue sous les nouvelles règles.

Le cas du scepticisme est substantiel. Le Kids Act est une proposition, pas une loi. Il entre dans des mois de négociation entre le Parlement européen et les États membres avant de devenir contraignant, et ses dispositions finales sont susceptibles de changer. La vérification réelle de l’âge à l’échelle d’Instagram ou de TikTok reste techniquement difficile. Intégrer la suppression de la mémoire dans des IA compagnes conçues autour de la continuité est un défi d’ingénierie plus profond que ce que les régulateurs ont peut-être anticipé. Les entreprises notent déjà que les chatbots compagnes ne conservent pas la mémoire entre les sessions séparées dans toutes les implémentations, ce qui rend la portée de l’interdiction floue dans la pratique.

Le contexte plus large compte pour les lecteurs hors d’Europe. L’Australie a interdit les médias sociaux pour les moins de 16 ans à la fin de l’année dernière. Quarante-sept États américains ont conclu un règlement combiné de 17,1 milliards de dollars avec Meta pour des allégations de dépendance chez les enfants, et plusieurs États américains ont des lois restreignant l’accès des mineurs aux médias sociaux. L’EU Kids Act est la proposition la plus agressive à ce jour — sa cible particulière n’est pas l’accès mais la conception émotionnelle elle-même.

La Commission européenne a publié le texte législatif complet le 19 septembre. Les négociations parlementaires s’ouvrent en octobre. Une fois mis en œuvre, les entreprises auront six mois pour identifier les comptes existants appartenant à des utilisateurs de moins de 15 ans et soit les convertir en modèles de contrôle parental, soit les désactiver. Les violations entraînent des amendes allant jusqu’à 6 % du chiffre d’affaires annuel mondial.

Étiquettes: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act