Le PDG de Google, Sundar Pichai : la part du code écrit par l’IA chez Google n’a plus de sens

Le directeur général de Google a cessé de compter. Interrogé sur la part du code de l’entreprise désormais écrite par l’IA, Sundar Pichai a répondu que la question n’avait plus de sens, puisque l’IA intervient dans l’ensemble du code. Au cours du même entretien, il a relativisé l’échéance qui inquiète une grande partie du secteur : celle d’une IA capable de concevoir de meilleures versions d’elle-même sans intervention humaine.

Ces deux affirmations sont peut-être fondées. Le problème, c’est de savoir qui les vérifie. Le chiffre auquel Pichai a renoncé était le seul que des observateurs extérieurs pouvaient comparer à ceux d’autres entreprises. Les indicateurs qui le remplacent, comme les éléments qui étayent son appréciation plus sereine de l’IA capable de s’améliorer elle-même, proviennent de Google, qui évalue Google.

Ce que Sundar Pichai a déclaré sur l’IA et le code de Google

Pichai s’entretenait avec Alex Kantrowitz dans le podcast Big Technology, enregistré au siège de Google, à Mountain View, et également publié par Kantrowitz sous la forme d’une interview écrite en questions-réponses. Lorsque Kantrowitz a rappelé l’ancienne affirmation selon laquelle un quart du code de Google était produit par l’IA et lui a demandé quel était le chiffre actuel, Pichai l’a qualifiée de « dénuée de sens », car chaque partie du code sur laquelle Google intervient aujourd’hui « est profondément influencée par l’IA ».

Lecture recommandéeOpenAI déclare l’ère AGI. Le benchmark cité mesure le score 37 points en dessous

À la place, il a avancé des chiffres concernant Gemini 4 Argon, le dernier modèle de Google, que l’entreprise a mis à la disposition de ses propres ingénieurs. Au cours des quatre semaines écoulées depuis son lancement, a-t-il déclaré, Google a constaté une hausse de 30 % des CL, le nom donné en interne aux propositions de modifications du code, et une baisse d’un tiers des retours en arrière, c’est-à-dire des modifications qu’il faut annuler après leur mise en production. « Nous suivons désormais la situation à l’aide de nouveaux indicateurs », a-t-il expliqué.

L’ancien indicateur n’a pas disparu de lui-même. Dans un billet de blog publié en avril, Google a estimé à 75 % la part de code généré par l’IA dans ses nouveaux développements, contre 25 % en 2024 et 50 % à l’automne précédent, selon Semafor et ETV Bharat. Semafor relevait alors que certaines de ces affirmations étaient presque impossibles à vérifier, et les comparait aux chiffres de Snap, à 65 %, ainsi qu’à l’objectif de Meta, qui vise un niveau comparable.

Pourquoi Pichai estime que l’IA capable de s’améliorer seule n’est pas pour demain

Sur l’auto-amélioration récursive, ou RSI, Pichai a présenté sa réponse comme une précision apportée aux propos de son cofondateur. Sergey Brin avait décrit la RSI comme un facteur essentiel au développement d’Argon, a-t-il dit, mais « nous sommes encore loin de l’état final de la RSI ». Il a ensuite expliqué où en est réellement Google : « La bonne façon de décrire la situation, c’est qu’il existe des boucles de RSI aux côtés de chercheurs en IA, à différents stades du développement des modèles. Je dirais que des agents aident presque les chercheurs en IA à travailler ensemble, d’une manière ou d’une autre automatisée, pour construire ces modèles. »

Brin était allé plus loin quelques jours auparavant. Lors d’une table ronde consacrée à Argon, dont Google a publié un compte rendu, il avait déclaré que l’entreprise « commençait à s’engager dans cette spirale d’auto-amélioration » et que « désormais, nos chercheurs et le modèle travaillent main dans la main pour créer la version suivante du modèle », comme l’a rapporté Business Insider. Un rapport de Gladstone AI publié ce mois-ci indique que la plupart des chercheurs interrogés chez Anthropic, OpenAI et Google DeepMind s’attendent à ce que la RSI commence dans un délai de trois à douze mois.

Le rapport de sécurité de Google va dans le sens de Pichai, sur la base des propres tests de Google

Sur le papier, les éléments disponibles donnent raison à Pichai. Le rapport sur la sûreté et la sécurité d’Argon publié par Google DeepMind ne constate « aucune accélération significative de bout en bout de la R&D en IA, qu’elle soit ou non pilotée par l’IA » et qualifie ce risque de « faible à l’heure actuelle », selon TNW. Les agents d’IA, précise le rapport, « rédigent la majorité du code de production et des correctifs, même si les modifications du code restent soumises à une vérification humaine avant leur soumission ». La part des demandes de modification entièrement déléguées est passée de 7,5 % en avril à 11,9 % en septembre ; environ 88 % nécessitent toujours des interventions humaines répétées pour orienter le travail, ou du code écrit par une personne.

Ces conclusions reposent sur les outils de mesure de Google. Le seuil à partir duquel l’IA automatise la recherche en IA est évalué à l’aide d’un référentiel interne de 74 tâches, auquel personne en dehors de l’entreprise n’a accès. Une analyse publiée sur LessWrong attire l’attention sur une phrase du rapport lui-même : parmi les tâches initialement auditées par Google, « environ un quart comportaient des bugs qui empêchent toute soumission d’aboutir ». Comme de nombreuses exécutions ont expiré avant d’être terminées, le rapport ne fournit pas d’estimation ponctuelle pour Argon, qui a réussi environ la moitié des exécutions menées à terme. Google affirme que sa conclusion reste valable même si toutes les exécutions inachevées avaient abouti.

La vérification humaine est le garde-fou sur lequel repose l’argumentaire de sécurité. Trente pour cent de propositions de modifications en plus, cela signifie trente pour cent de changements supplémentaires à examiner pour les personnes chargées de ce contrôle. Or les indicateurs choisis par Pichai comptabilisent les résultats et les retours en arrière, pas le degré d’attention avec lequel chaque modification a été lue.

La solution proposée par Pichai : des auditeurs indépendants

Pichai n’a pas balayé ces inquiétudes. La recherche sur l’alignement présente encore des « lacunes évidentes », a-t-il reconnu, et « il est raisonnable de s’inquiéter ». À ses yeux, la prochaine étape consiste à établir des normes communes à l’ensemble du secteur, « notamment la possibilité de procéder à des évaluations par des évaluateurs indépendants », sur le modèle des normes comptables et du recours à des auditeurs externes, avec une réglementation qui « finira par jouer un rôle ».

Au regard de ces critères, aucune des deux affirmations de la semaine n’a encore été soumise à un audit indépendant. Google comptabilise ses propres listes de modifications, évalue ses propres retours en arrière et note son propre référentiel de recherche.

Le pourcentage que Pichai a qualifié de dénué de sens était rudimentaire, mais chacun pouvait le comparer à celui de Snap. Les chiffres qui le remplacent ne sont consultables qu’à l’intérieur de Google.

Étiquettes: Google, Gemini, Sundar Pichai, programmation par IA, Sergey Brin

Dans le même genre

Jensen Huang (Nvidia) exige zéro incident de cybersécurité lié à l’IA et invite les catastrophistes à arrêter

Meta ouvre Muse Glimmer, un agent IA de 30 milliards de paramètres sur GPU

Les nouvelles conditions commerciales de Meta l’autorisent à explorer votre site et à entraîner son IA avec son contenu

Le patron de Microsoft AI, Mustafa Suleyman, sur Claude et la conscience : « Je pense que c’est très dangereux »

Demis Hassabis, sur qui doit financer la sécurité de l’IA : « Le financement devrait être considérable et provenir surtout de l’industrie »

Cursor déploie des bots IA pour bloquer les failles de sécurité avant le déploiement