Une API livrée dans les builds de développement

Le 2 octobre, ggml-org a annoncé l’arrivée des modèles de décision dans le serveur llama.cpp. La nouvelle route /v1/systemone permet de soumettre un contenu et des questions dont les réponses possibles sont définies à l’avance. Pour un outil de tri, de routage ou de contrôle d’une automatisation, l’intérêt est de récupérer directement un résultat structuré.

L’implémentation a été fusionnée dans la branche master le 2 octobre. Le build b11361, publié le même jour à 23 h 53 UTC, contient cette API et propose des binaires pour Windows, macOS et Linux. Il est marqué Pre-release sur GitHub : cette disponibilité correspond aux builds de développement du projet. Avant de remplacer un serveur utilisé au quotidien, mieux vaut vérifier le comportement de ses propres applications.

Trois formats de questions pour un résultat exploitable

L’application envoie un état, qui peut être du texte ou une structure JSON, et les questions à évaluer. Par exemple, un message peut être orienté vers une catégorie définie par le développeur. Le modèle attribue des probabilités aux réponses proposées.

  • choice : choisir l’option la mieux classée et obtenir la probabilité de chaque option
  • score : estimer un niveau sur une échelle ordonnée de deux à dix descriptions ; le résultat peut se situer entre deux niveaux
  • noul : évaluer une question oui/non et renvoyer la probabilité d’une réponse positive

Ce format facilite l’intégration dans un programme. Il faut toutefois définir des options qui couvrent le cas réel, avec des descriptions suffisamment claires, puis tester les réponses obtenues.

Le modèle chargé détermine les possibilités

Le support initial annoncé concerne Julia-1, Laya, Kev-4B, lev et OpenJev, avec des versions GGUF proposées par ggml-org. Nimble a été ajouté dans un correctif séparé le 2 octobre. Cette liste de lancement évolue donc déjà.

Pour les documents ou captures d’écran, il faut choisir un modèle capable de traiter les images et charger son projecteur multimodal. OpenJev est présenté avec cette capacité et une prise en charge du français. Sa licence CC BY-NC 4.0 limite l’usage commercial du modèle : c’est un point à vérifier avant d’intégrer cette solution dans un service ou une activité professionnelle.

Clef rejoint déjà System One, en texte seul

L’annonce du 2 octobre présentait Clef comme une prochaine étape. Depuis, la prise en charge de Clef et Clef-Flash a été fusionnée le 3 octobre, puis intégrée au build b11371 publié à 8 h 34 UTC. Ce build est lui aussi marqué Pre-release.

Cette première intégration reste limitée au texte. Clef lit les questions ensemble et les décide conjointement. Un serveur lancé avec ce modèle sert cet endpoint de décision, sans génération de texte. Les images ne sont pas encore prises en charge par cette intégration de Clef.

Compatibilité et confiance demandent encore du travail

L’API reprend le format System One introduit avec Jev. Les auteurs indiquent qu’un client utilisant ce format peut être dirigé vers le serveur local en changeant son adresse de base. Cette compatibilité concerne les requêtes de décision prévues par l’API ; il faut vérifier les fonctions réellement utilisées par son client.

Le streaming n’est pas pris en charge. Le mainteneur précise aussi que le prétraitement date_facts est volontairement laissé de côté. Certaines intégrations ne pourront donc pas reprendre toutes leurs fonctions à l’identique.

Autre limite importante : les probabilités retournées ne sont pas garanties calibrées sur vos données. Un score élevé doit être confronté à des exemples représentatifs avant de déclencher automatiquement une action. Pour un premier déploiement, prévoir une catégorie de repli et un contrôle humain aide à gérer les cas ambigus.

Quel intérêt concret sur PC ?

Pour les utilisateurs qui développent leurs outils d’IA locale, cette mise à jour ouvre un chemin plus direct vers la classification et la sélection d’actions. Le traitement peut être effectué par le serveur lancé sur leur machine, à condition de disposer d’un modèle de décision compatible.

Le choix du modèle reste essentiel : langue, prise en charge des images, licence et ressources nécessaires doivent correspondre au besoin. La démarche la plus utile consiste à vérifier la version de llama.cpp, essayer un jeu de cas réels et mesurer les erreurs avant de généraliser l’usage. Le support d’une API, à lui seul, ne fournit pas une mesure de ses performances sur votre PC.