NVIDIA rapporte 3 431 tokens/s pour Groq 3 LPX à 100K

Groq 3 LPX passe du produit annoncé au premier benchmark tiers

NVIDIA a publié le 24 août 2026, pendant Hot Chips, de nouveaux détails sur la pleine production de son système d’inférence Groq 3 LPX. Ce n’est pas une carte graphique pour PC, mais un rack spécialisé qui complète Vera Rubin NVL72. Les GPU Rubin restent adaptés aux phases polyvalentes et gourmandes en mémoire, tandis que les LPU de LPX ciblent la génération séquentielle des tokens, ou decode, où chaque délai se répète à chaque étape d’un agent.

Le jalon réellement nouveau est le premier benchmark attribué à un tiers sur cette plateforme. NVIDIA indique qu’Artificial Analysis a testé une configuration installée dans ses propres centres de données. Nebius est présenté comme le premier cloud à adopter LPX, tandis que Groq prévoit un déploiement avec Dell. Ni NVIDIA ni ces partenaires ne donnent encore de date d’ouverture commerciale, de régions, de modèles servis ou de prix.

Ce que mesure réellement le résultat de 3 431 tokens/s

D’après les résultats publiés par NVIDIA et attribués à Artificial Analysis, Groq 3 LPX a obtenu une médiane de 3 431 tokens de sortie par seconde avec Gemma 4 31B, un modèle dense de 31 milliards de paramètres, après 100 000 tokens de contexte. Le protocole emploie le tokenizer o200k_base pour harmoniser les mesures. Le graphique NVIDIA place le meilleur endpoint public concurrent à 870 tokens/s sur le même modèle et la même longueur de contexte, soit presque quatre fois moins.

Ce chiffre décrit la vitesse de sortie après le premier token. Il n’inclut pas le traitement des 100 000 tokens d’entrée, la latence jusqu’au premier token, le réseau ni l’exécution d’outils externes. NVIDIA illustre aussi 5 000 tokens générés en environ 1,5 seconde, contre 50 secondes à 100 tokens/s. C’est une projection arithmétique du decode, pas un test complet d’un agent de codage du début à la fin.

Cette différence de conditions impose une réserve majeure. Groq 3 LPX a été évalué sur un système privé de préproduction contrôlé par NVIDIA, alors que les autres résultats correspondent à des endpoints serverless publics soumis à une exploitation réelle. Le protocole tiers apporte une unité commune et vérifie la sortie, mais pas une comparaison à coût, puissance, taux de concurrence, files d’attente et conditions de service identiques.

Un rack de 256 LPU construit autour de la SRAM

Un rack LPX réunit 256 accélérateurs Groq 3. Chacun intègre 500 Mo de SRAM, soit environ 128 Go au total, et NVIDIA annonce 150 To/s de bande passante SRAM par puce. L’agrégat atteint 40 Po/s à l’échelle du rack, avec 12 To de DDR5 pour compléter la mémoire rapide. Les liens directs entre puces totalisent 640 To/s de bande passante scale-up afin de distribuer les modèles entre de nombreux accélérateurs.

La SRAM très proche du calcul réduit les attentes pendant le decode, mais l’architecture dépend autant du logiciel que du silicium. Le compilateur connaît à l’avance les unités, la mémoire et les routes disponibles. Il planifie les transferts cycle par cycle, puis superpose calcul et communication par petits segments. L’objectif est de réduire la traîne de communication lors des échanges répétés du parallélisme tensoriel.

Cette coordination compte surtout à faible batch, lorsque peu d’utilisateurs attendent une réponse très rapide : le coût fixe d’un transfert peut alors annuler le gain du calcul distribué. Les performances dépendent donc de la compilation du modèle, de son partitionnement entre les puces et de la capacité du réseau à tenir le calendrier. Le benchmark ne décrit pas le comportement sous charge irrégulière, lors d’une défaillance ou avec plusieurs locataires concurrents.

L’impact concret pour les services d’IA

Une génération réellement supérieure à 3 000 tokens/s pourrait raccourcir les boucles où un agent lit du code, appelle un outil, analyse le résultat puis recommence. Le gain est plus utile dans une chaîne de dizaines d’étapes que dans une réponse courte, car chaque seconde économisée se cumule. Les assistants vocaux, agents de développement et systèmes multiagents pourraient aussi paraître plus instantanés si le modèle, les outils et le réseau suivent le même rythme.

LPX n’est toutefois pas destiné à fonctionner seul pour chaque modèle. NVIDIA décrit plusieurs associations avec Vera Rubin : les GPU peuvent calculer le prefill puis transmettre le cache KV aux LPU pour le decode ; les deux racks peuvent se partager attention et couches de feed-forward ; ou LPX peut proposer des tokens spéculatifs qu’un grand modèle sur Rubin vérifie. Ces configurations illustrent une infrastructure hétérogène, mais elles n’ont pas toutes été validées par le test Gemma 4.

Pour le public, l’effet restera indirect. Il dépendra des fournisseurs cloud et de leur décision d’utiliser la capacité pour baisser la latence, servir davantage de requêtes ou améliorer leurs marges. Un record mesuré sur un rack dédié ne signifie pas qu’un utilisateur recevra 3 431 tokens/s sur une API partagée, encore moins avec un modèle plus lourd, des outils externes et une longue file de requêtes.

Coût, énergie, concurrence et disponibilité restent à mesurer

Le test porte sur un modèle dense de 31 milliards de paramètres, pas sur les modèles Mixture-of-Experts de plusieurs centaines de milliards ou billions de paramètres évoqués dans les projections NVIDIA. L’activation conditionnelle des experts, la distribution des poids, le cache KV et les communications entre racks peuvent modifier fortement le débit. The Register estime qu’environ 64 LPU sont nécessaires pour stocker Gemma 4 31B en FP8, ce qui rappelle que le chiffre repose déjà sur un système distribué.

NVIDIA ne publie ni la consommation du rack pendant ce test, ni la puissance totale, ni les tokens par joule, ni le coût d’achat. Ses gains annoncés par mégawatt proviennent de projections distinctes et ne peuvent pas être attribués à la mesure Artificial Analysis. Sans puissance à la prise, taux d’utilisation, coût d’hébergement et nombre d’utilisateurs simultanés, aucun prix comparable par million de tokens ne peut être calculé.

Enfin, pleine production ne signifie pas service accessible aujourd’hui. Nebius et Groq n’indiquent pas encore quand les développeurs pourront utiliser LPX, dans quelles régions, avec quels modèles et à quel tarif. Les preuves suivantes devront venir d’endpoints publics, de tests sous concurrence, de mesures énergétiques et de résultats sur plusieurs architectures. Les 3 431 tokens/s constituent un jalon technique important, mais encore le point de départ d’une validation en production.

Sources