Claude dirige un quart de la R&D d’Anthropic — et c’est lui qui mesure ses propres progrès

Un quart des tâches de recherche en IA chez Anthropic sont désormais dirigées par Claude. Pas attribuées à Claude comme assistant, pas révisées par Claude après coup — lancées à partir d’une instruction de haut niveau et réalisées de bout en bout, un humain vérifiant le résultat une fois terminé. Il y a neuf mois, ce chiffre était inférieur à un pour cent.

Anthropic établit une distinction entre deux choses. Lorsque Claude dirige une tâche, il effectue la majeure partie du travail de manière indépendante ; un superviseur examine le résultat plutôt que de guider chaque étape. C’est une catégorie différente des quatre-vingt-dix pour cent de la R&D totale d’Anthropic dans laquelle Claude agit comme un collaborateur — un humain dirige, Claude traite des parties spécifiques. Diriger est la classification la plus exigeante. Elle représente désormais 26 pour cent de l’ensemble de la recherche en IA que l’entreprise mène, pondéré par le temps que les chercheurs auraient autrement consacré à ces tâches.

L’échelle est concrète. Environ 30 000 agents Claude fonctionnent simultanément sur les plateformes internes d’Anthropic, effectuant des travaux sur la formation des modèles, les évaluations, la recherche en interprétabilité et l’analyse de sécurité. En août, ces agents ont pris plus d’un milliard de décisions au total. Les systèmes de surveillance en temps réel d’Anthropic ont bloqué 0,002 % d’entre elles — environ une action sur 47 000 — avant exécution. Une couche hors ligne a ensuite signalé environ 100 000 transcriptions par semaine pour examen, en escaladant environ 50 à un humain.

La sécurité dispose d’un budget mesurable au sein de ce système. Au cours d’une seule semaine de juillet, le travail dédié à la sécurité des agents a consommé six pour cent de toute la puissance de calcul de la recherche et développement en IA, et douze pour cent de la puissance de calcul utilisée par la R&D pilotée par l’IA elle-même. Anthropic affirme avoir classé de manière conservatrice, en excluant les classifieurs de sécurité dédiés du décompte, ce qui suggère que la proportion réelle est encore plus élevée.

Un problème épistémologique se trouve au cœur de tout cela. La contribution de Claude à la recherche d’Anthropic est en partie évaluée par Claude lui-même. Un modèle Claude évalue le travail de Claude ; les chiffres de supervision ne couvrent qu’une seule plateforme interne ; et la classification de la puissance de calcul reposait sur des modèles Claude échantillonnant et étiquetant leurs propres exécutions. Aucun tiers indépendant n’a audité la méthodologie. Les trois chiffres publiés par Anthropic sont précis, mais il s’agit d’une précision auto-déclarée — ce qui est différent d’une précision vérifiée.

Anthropic indique qu’elle commencera à intégrer des évaluateurs externes dans le processus. Aucun nom, aucune date de début, et aucune divulgation comparable d’autres laboratoires d’IA n’est encore apparue. Le chiffre de 26 %, compte tenu du rythme auquel il a évolué, est un instantané plutôt qu’un plafond.

Étiquettes: intelligence artificielle, Anthropic, Claude, ia, sécurité IA, recherche IA