Les informations essentielles
La start-up parisienne ZML a publié le 8 juillet 2026 la version alpha de ZML/LLMD, un serveur d’inférence destiné aux grands modèles de langage. Son objectif est simple à formuler, mais difficile à réaliser : exécuter une même charge IA sur des GPU NVIDIA ou AMD, des accélérateurs Intel, des puces Apple et des TPU Google sans maintenir cinq piles logicielles séparées.
LLMD est lancé gratuitement, mais il n’est pas open source. Cette distinction est importante : les utilisateurs peuvent tester le produit sans licence payante annoncée, tandis que le code du serveur n’est pas ouvert à l’audit ou à la modification comme celui de vLLM.
ZML annonce cinq environnements : NVIDIA CUDA, AMD ROCm, Google TPU, Intel oneAPI et Apple Metal. La version alpha prend en charge plusieurs générations de Qwen, Gemma, LFM, Mistral, Ministral et Llama. DeepSeek, Kimi, GLM, MiniMax et StepFun sont seulement annoncés pour une version ultérieure.
LLMD propose le traitement continu de requêtes par lots, la paged attention, le cache de préfixes, les appels d’outils, le partitionnement du modèle entre plusieurs accélérateurs et l’export de métriques au format Prometheus. Les modèles peuvent être chargés depuis Hugging Face, Amazon S3 ou Google Cloud Storage.
Ce qui change concrètement
Pour une entreprise exploitant plusieurs types d’accélérateurs, une couche commune peut réduire le travail d’intégration. Un modèle pourrait être déplacé d’un serveur NVIDIA vers un système AMD ou Intel sans réécrire toute la logique de service.
Cette souplesse peut aussi intéresser les utilisateurs locaux. Une station Apple Silicon, un PC équipé d’une Radeon ou une machine Intel Arc ne bénéficient pas toujours du même niveau de prise en charge que CUDA dans les outils d’inférence. LLMD cherche à fournir les mêmes fonctions avancées sur chaque plateforme.
Le projet ne rend toutefois pas les GPU interchangeables. La quantité de mémoire, sa bande passante, les formats numériques pris en charge, les pilotes et les performances de communication restent propres à chaque matériel. Une API commune simplifie le déploiement ; elle n’efface pas les différences physiques.
LLMD peut répartir automatiquement un modèle entre plusieurs appareils par parallélisme tensoriel ou par experts. Le parallélisme en pipeline n’est pas encore présent. Pour les modèles trop volumineux ou les grappes complexes, cette limitation peut être déterminante.
Analyse technique
Le moteur repose sur le framework ZML, développé avec Zig, MLIR et OpenXLA. Les binaires et les environnements sont compilés à l’avance dans un artefact autonome. ZML affirme ainsi éviter une recompilation cachée pendant le traitement des requêtes afin d’obtenir une latence plus prévisible.
La version alpha prend en charge DFlash avec certains modèles Gemma 4. Cette technique de décodage spéculatif utilise un modèle auxiliaire pour proposer plusieurs tokens, que le modèle principal valide ensuite. ZML évoque un gain pouvant atteindre dix fois plus de tokens par seconde et par utilisateur sur des modèles compatibles. Ce maximum vient de l’éditeur et ne constitue pas une performance garantie.
ZML publie quelques résultats sur Gemma 4 26B A4B avec un lot de 16 requêtes : environ 1 318 tokens par seconde sur deux NVIDIA H100, 859 sur un AMD MI300X, 179 sur deux Intel B70 et 110 sur un Mac M3 Max. Ces chiffres ne permettent pas de classer directement les matériels, car les configurations n’utilisent ni le même nombre de puces ni la même enveloppe énergétique.
Il manque encore des comparaisons indépendantes avec vLLM, SGLang et les outils natifs de chaque constructeur, ainsi que des données sur la consommation, la stabilité prolongée, les longs contextes et le coût par token. La version alpha constitue une preuve technique prometteuse, pas encore une validation universelle.
TechCrunch confirme que LLMD est gratuit mais propriétaire et que son futur modèle économique n’est pas fixé publiquement. Une organisation envisageant un déploiement durable doit donc considérer le risque d’évolution tarifaire et la dépendance à un fournisseur, même si l’objectif affiché consiste précisément à réduire la dépendance matérielle.
Ce qu’il faut retenir
ZML/LLMD s’attaque à l’un des principaux obstacles de l’IA locale et professionnelle : la fragmentation entre CUDA, ROCm, oneAPI, Metal et TPU. Sa couverture matérielle et ses fonctions de service sont ambitieuses pour une première version publique.
Il faut résister à deux raccourcis : LLMD n’est pas open source et ses benchmarks n’ont pas encore été reproduits par des laboratoires indépendants. Son intérêt réel se mesurera sur la stabilité, le coût par token et la facilité de migration de charges existantes, pas seulement sur les meilleurs chiffres publiés au lancement.