La puce Jalapeño d’OpenAI fait tourner l’inference 1,9 fois plus efficacement que Nvidia Blackwell par watt

OpenAI a conçu sa propre puce. L’entreprise a présenté Jalapeño à la conférence Hot Chips le 25 août, un design silicium développé en partenariat avec Broadcom qui traite les requêtes d’inférence à 85 448 tokens par seconde par kilowatt. L’architecture Blackwell de Nvidia, la référence actuelle du marché, atteint 44 960 sur la même métrique. Le rapport est de 1,9 fois.

Cette métrique est importante car l’inférence est la façon dont les systèmes d’IA fonctionnent en production. L’entraînement a lieu une fois ; l’inférence a lieu chaque fois que quelqu’un envoie une requête à ChatGPT, utilise une API ou interagit avec une application qui exécute un modèle de langage. Le coût de l’inférence à grande échelle est le principal moteur de l’économie des services d’IA. Une puce qui réduit de moitié environ la consommation d’énergie de l’inférence, si elle est déployée largement, modifie le coût par requête de l’exécution des modèles.

Sur les charges de travail interactives, où la latence de réponse est le facteur limitant, l’avantage de Jalapeño s’étend encore plus loin. Le rapport de SemiAnalysis sur la présentation de Hot Chips indique une plage de 2,1 à 4,1 fois meilleure que Blackwell sur ces benchmarks. L’étendue reflète les variations selon les types de tâches spécifiques ; la limite inférieure est la comparaison la plus conservative.

La puce ne gère que l’inférence. Elle n’exécute pas les charges de travail d’entraînement qui ont produit les modèles que Jalapeño est conçue pour exécuter. Celles-ci nécessitent toujours du matériel Nvidia. Broadcom a fabriqué la puce dans le cadre d’un accord de conception personnalisée avec OpenAI plutôt que de la vendre en tant que produit commercial. L’arrangement donne à OpenAI une couche d’inférence dédiée sans l’obliger à concurrencer sur le marché des puces marchandes.

Le calendrier de déploiement d’OpenAI est limité. Un déploiement à petite échelle est prévu avant fin 2026 ; un déploiement plus large est un objectif pour 2027. La puce reste en phase d’échantillon d’ingénierie, ce qui signifie que la version de production n’a pas encore été expédiée à grande échelle. Les benchmarks à Hot Chips représentent la cible de conception, pas une production vérifiée. L’écart entre l’annonce en conférence et le déploiement opérationnel pour le silicium personnalisé se mesure généralement en années.

Cette annonce s’inscrit dans une évolution plus large des grandes entreprises d’IA vers le silicium personnalisé. Google exploite ses propres Tensor Processing Units en production depuis une décennie. Amazon fait fonctionner Trainium et Inferentia dans AWS. Meta utilise ses propres puces d’inférence en interne. L’entrée d’OpenAI confirme qu’à l’échelle de centaines de millions d’utilisateurs actifs, l’économie de dépendre entièrement de fournisseurs de GPU externes devient suffisamment difficile pour justifier le coût d’un programme de conception personnalisée.

Étiquettes: nvidia, OpenAI, puces IA, Broadcom, inference, Jalapeño