Depuis trois ans, le débat sur l’IA tourne autour d’une question : qui construira le plus gros modèle. La question moins spectaculaire — combien coûte le fait de faire répondre ce modèle, des millions de fois par jour, sans qu’il tombe — est désormais celle par où l’argent fuit. llm-d, le projet d’inférence open source lancé par Red Hat, IBM, Google Cloud, CoreWeave et Nvidia, atteint la version 1.0, et son argumentaire vise précisément cette fuite.

Le mécanisme mérite d’être dit simplement. Un agent IA ne pose pas une question avant de repartir. Il maintient de longues sessions, relit les mêmes documents et lance des assistants en parallèle qui sollicitent le matériel par rafales imprévisibles. Dans ce schéma, gérer le contexte peut coûter plus cher que produire la réponse. Toute équipe qui sert des modèles à grande échelle, explique Shadi Saba, vice-président de l’ingénierie IA/ML de CoreWeave, se heurte à un « contexte qui coûte souvent plus cher à gérer que la sortie elle-même ». La réponse de llm-d, c’est le routage : envoyer chaque requête vers le serveur qui détient déjà son contexte en cache, au lieu de tout recalculer.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

La version 1.0 apporte moins de nouveautés spectaculaires que de garanties pour exploiter l’existant pendant des mois. Le projet proposait déjà un routage sensible au cache, le déchargement du cache KV et la séparation des phases de prefill et de decode entre machines, au-dessus de serveurs de modèles comme vLLM et SGLang. La nouvelle version ajoute des contrôles de priorité et d’équité pour que les requêtes sensibles à la latence et les agents en rafales partagent une même flotte de GPU sans s’étouffer, un routeur hautement disponible pour des mises à jour sans interruption, une API de configuration v1 stable et un routage par session qui garde les conversations à plusieurs tours près de leur état en cache.

Les chiffres de performance de l’annonce proviennent des démonstrations des contributeurs eux-mêmes : il faut les lire comme des affirmations, non comme des audits. Dans l’une d’elles, des chercheurs ont servi GLM 5.2, un modèle à poids ouverts d’environ 753 milliards de paramètres, sur des GPU Nvidia largement déployés, avec des pics à plus de 6,6 millions de jetons de sortie par minute et jusqu’à 3 000 agents de codage simultanés ; aux tarifs actuels de location dans le cloud, assurent-ils, le coût par jeton était de cinq à dix fois inférieur à celui d’une API commerciale équivalente. IBM Research fait état d’un coût d’inférence 11,5 fois plus bas qu’une configuration entièrement propriétaire sur un projet de conception de puces pour la correction d’erreurs quantiques, avec un taux de réussite du cache d’environ 98 %.

Plus parlant encore : qui s’appuie déjà dessus. JetBrains indique que llm-d sert une part importante du trafic de Junie Lite, son offre gratuite d’agent de codage ; DigitalOcean y fait tourner son inférence serverless, et Mistral comme Roblox décrivent leur couche de service bâtie sur le projet. Google Cloud intègre la 1.0 à Google Kubernetes Engine sur l’ensemble de son offre TPU et GPU Nvidia, tandis qu’AMD la porte sur ses accélérateurs Instinct.

Fondé en 2025 et désormais gouverné par la Cloud Native Computing Foundation, llm-d compte plus de 500 contributeurs issus de plus de 25 organisations. La version 1.0 a été annoncée le 20 octobre 2026 à San José et est disponible dès maintenant en open source.

La conséquence est un déplacement du rapport de force. Si ce qui coûte cher dans l’IA, c’est de la servir plutôt que de l’entraîner, celui qui contrôle la couche de service contrôle la facture. llm-d tente de faire en sorte que cette couche reste partagée et ouverte, plutôt qu’enfermée dans l’API d’un seul fournisseur.

Étiquettes: nvidia, agents IA, IBM, CoreWeave, grands modèles de langage, Red Hat