IA

OpenAI dit qu’Astra est son IA la plus sûre — sans montrer comment elle raisonne

Adrian Kessler

Astra opère dans le code, l’analyse de sécurité, l’utilisation d’ordinateur et les tâches professionnelles multi-étapes avec une rapidité et une précision qui surpassent le modèle précédent d’OpenAI, Sol, et Fable d’Anthropic sur les benchmarks standard d’ingénierie logicielle. L’entreprise le décrit comme le premier modèle qu’elle a construit qui franchit le palier « Critique » de capacité en cybersécurité : il peut identifier et développer des exploits pour des failles de sécurité jusqu’alors inconnues, à une échelle et une vitesse qu’aucune équipe humaine ne peut égaler.

Le mécanisme derrière cela est une technique appelée récurrence opaque. Les modèles de langage standard produisent leur raisonnement sous forme de texte lisible — la chaîne de pensée que les chercheurs utilisent pour auditer les décisions, détecter les erreurs et vérifier qu’un modèle se comporte comme prévu. Astra fonctionne sans produire ce texte. Il peut résoudre des problèmes complexes sans laisser de trace lisible du processus. Le scientifique en chef d’OpenAI, Jakub Pachocki, a reconnu ce changement : des modèles plus capables, a-t-il dit, peuvent « effectuer des tâches plus difficiles en utilisant moins de jetons de langage ». La surveillance devient plus difficile en proportion.

Cela crée un problème structurel que les propres affirmations d’OpenAI rendent visible. L’entreprise décrit Astra comme son « modèle le plus aligné » à ce jour. L’alignement — la discipline d’ingénierie qui consiste à faire en sorte que les systèmes d’IA se comportent comme leurs concepteurs le souhaitent — a historiquement reposé sur la lecture de ce que le modèle fait étape par étape. Un modèle qui raisonne de manière invisible rend son propre alignement invérifiable par cette méthode. OpenAI n’a pas décrit publiquement la méthode alternative qu’elle utilise pour vérifier le comportement d’Astra avant son déploiement.

Greg Brockman, le président d’OpenAI, a décrit Astra comme un « bond générationnel » et on lui a demandé directement s’il représentait une intelligence générale artificielle. Sa réponse : la définition contractuelle de l’AGI qui régissait le partenariat d’OpenAI avec Microsoft ne s’applique plus. L’AGI est désormais, a-t-il dit, un « concept spirituel ». Ce cadrage a son importance. L’accord d’OpenAI avec Microsoft comprenait des clauses liées à l’AGI — des conditions dans lesquelles les termes de la relation changeraient. Décrire l’AGI comme non définie maintient ces clauses en sommeil, quelle que soit la capacité réelle d’Astra.

L’accès a d’abord été lancé pour Daybreak, le programme de cybersécurité validé d’OpenAI — une structure que l’entreprise présente comme un déploiement défensif en premier lieu. Le raisonnement est que les organisations qui recherchent des vulnérabilités dans leurs propres systèmes obtiennent la capacité avant celles qui recherchent des vulnérabilités dans ceux des autres. Cette logique ne tient que tant que les contrôles d’accès tiennent. Les capacités d’identification de vulnérabilités zero-day d’Astra sont, par conception, exactement ce qu’un attaquant bien doté voudrait. Un modèle qui raisonne sans chaîne de pensée lisible est également plus difficile à contraindre ou à auditer après coup si quelque chose tourne mal.

Un accès plus large est déployé vers les niveaux payants — Pro, Plus, Enterprise, Business — et via l’API dans la semaine à venir.

Étiquettes: , , , , ,

Discussion

Il y a 0 commentaire.