IA

AMD rachète Taalas et parie que l’IA gravée en silicium battra Nvidia à l’inférence

Susan Hill

AMD acquiert Taalas, une start-up torontoise qui fabrique des puces intégrant définitivement les poids des modèles d’IA dans le silicium, plutôt que de les charger depuis la mémoire lors de l’inférence. Sa puce HC1 génère 16 960 tokens par seconde sur le Llama 3.1 8B de Meta — un chiffre qu’AMD affirme être 48 fois plus rapide que les GPU de Nvidia et 8,5 fois plus rapide que Cerebras, le spécialiste des puces d’inférence.

La technologie derrière Taalas exploite une inefficacité structurelle dans le fonctionnement actuel de l’inférence IA. Les GPU standards sont flexibles : ils peuvent exécuter n’importe quel modèle, basculer entre les tâches à la demande et être reprogrammés lorsqu’un modèle est mis à jour. Cette flexibilité est aussi le goulot d’étranglement. Charger des milliards de poids de modèles depuis la mémoire à large bande passante vers les unités de calcul à chaque requête d’inférence crée une latence que l’ajout de GPU supplémentaires ne peut éliminer.

Taalas intègre ces poids directement dans le silicium de la puce au moment de la fabrication. Le modèle réside dans le matériel, et non dans une mémoire qui est récupérée à chaque requête. Les chiffres de débit qu’AMD avance reflètent ce choix architectural — mais à un prix que l’entreprise ne minimise pas : une fois qu’une puce est fabriquée avec un modèle spécifique intégré, la mettre à jour nécessite un nouveau tape-out de silicium. Taalas affirme que seules deux couches métalliques doivent être modifiées pour une actualisation du modèle, ce qui raccourcit le cycle, mais ces puces ne peuvent pas s’adapter à la volée à une version plus récente du modèle.

Selon le plan d’intégration d’AMD, les puces Taalas prendront en charge la génération de tokens — la phase d’inférence la plus longue — tandis que les GPU Instinct d’AMD géreront le préremplissage et le calcul d’attention au début de chaque requête. Le système combiné fonctionne sur la plateforme rack-scale Helios d’AMD. Pour les opérateurs cloud exécutant des charges de travail à modèle fixe — robots de service client, pipelines de traitement de documents, traduction en temps réel — la promesse est un débit par watt de rack que les clusters GPU flexibles ne peuvent égaler à coût équivalent.

La question centrale est de savoir si ce calcul survivra au rythme d’actualisation des modèles de l’industrie. Les grands laboratoires mettent désormais à jour leurs modèles de production environ tous les six mois. Une puce verrouillée sur Llama 3.1 8B aujourd’hui pourrait devoir être retirée lorsqu’un successeur deviendra la cible de déploiement standard. L’affirmation de Taalas sur l’actualisation de deux couches métalliques aide, mais un tape-out de silicium prend encore des mois — un décalage significatif quand les modèles se renouvellent plus vite que les cycles matériels.

Cette acquisition intervient sept mois après que Nvidia a acheté Groq — une approche différente du même problème de vitesse d’inférence — pour un montant annoncé de 20 milliards de dollars. Les processeurs tensor streaming de Groq optimisent également le débit mais conservent la capacité de charger différents modèles. AMD paie une somme non divulguée mais vraisemblablement inférieure pour une start-up qui a fait le pari inverse.

Pour les acheteurs, l’acquisition de Taalas relève de la feuille de route plutôt que du catalogue. La puce HC2, visant des modèles jusqu’à 20 milliards de paramètres, est encore en développement. Le benchmark 48x s’applique au HC1 dans des conditions spécifiques — les déploiements réels avec un trafic mixte et des tailles de lots variables produiront des résultats différents. La clôture de l’opération est attendue au quatrième trimestre 2026, sous réserve de l’examen réglementaire. Le HC1 a été expédié en février en gravure 6 nm ; la date d’expédition du HC2 et le nœud de processus cible restent non confirmés.

Étiquettes: , , , ,

Discussion

Il y a 0 commentaire.