Tech • IA • Robotique • Jeu
Qu’est-ce que Jev et comment l’utiliser avec un LLM ? (Lab gratuit)
6/10INTRO
Jev est un modèle d’IA axé sur la décision, conçu pour classer, router et noter des entrées textuelles avec des probabilités calibrées, offrant une alternative plus rapide et moins coûteuse à l’usage de LLMs complets pour des tâches de jugement ciblées.
POINTS CLÉS
Ce que fait Jev
Jev est conçu pour de petites décisions structurées plutôt que pour la conversation ouverte ou la génération de texte. Il agit comme un moteur de décision sémantique dans les cas où un logiciel doit juger le sens du langage, par exemple pour déterminer si un ticket de support est urgent, quelle équipe doit en être responsable, ou si une commande est dangereuse.
En quoi il diffère des LLMs
Les LLMs traditionnels comme GPT ou Claude peuvent répondre aux mêmes questions, mais ils génèrent toujours du texte token par token, souvent avec plus de latence et de coût. Jev renvoie des sorties numériques plutôt que du texte rédigé, y compris des probabilités et des signaux de confiance que les logiciels peuvent utiliser directement dans des workflows automatisés.
En quoi il diffère des classifieurs classiques
Le modèle ressemble à un classifieur de machine learning par ses sorties, mais pas par sa mise en place. Un modèle supervisé classique comme une random forest doit être entraîné pour un ensemble précis de labels puis réentraîné quand les catégories changent, tandis que Jev permet aux équipes de définir les options en anglais courant dans chaque requête et de les modifier sans réentraînement.
Trois types de questions
Jev évalue un état donné selon trois formats principaux: binaire oui ou non, choix étiqueté, et score continu. Pour le scoring, les équipes doivent définir ce que signifient les points de l’échelle, par exemple 0 pour « peut attendre » et 3 pour « nécessite une attention immédiate », ce qui permet au modèle de situer les cas à des valeurs comme 1.1 ou 2.8.
Exemple de ticket de support
Pour un ticket disant: “I was charged twice for the same order. Please refund one of them,” Jev peut évaluer en une seule requête l’urgence, l’équipe responsable et la priorité. Dans un exemple, Billing reçoit une probabilité de 0.84, Technical 0.15, Sales 0.01, et le binaire d’urgence renvoie 0.81, indiquant que le ticket nécessitait probablement une attention rapide.
Confiance et probabilité ne sont pas la même chose
Une probabilité binaire proche de 0.95 signifie un oui confiant, tandis que 0.05 signifie un non confiant, et 0.5 signale l’incertitude. Pour les tâches à plusieurs options, la confiance mesure à quel point le meilleur choix devance clairement les autres, et non la probabilité que la réponse soit correcte.
Pourquoi l’ambiguïté compte
Certains tickets n’entrent pas nettement dans une seule catégorie. Une plainte comme “I was charged but checkout still says my payment failed” peut se répartir entre Billing à 0.52 et Technical à 0.46, avec une faible confiance de 0.18, ce qui en fait un mauvais candidat pour un routage automatique et un meilleur cas pour une revue humaine.
Usage opérationnel et seuils
Le modèle est conçu pour soutenir une automatisation fondée sur le risque. Les décisions à faible enjeu peuvent être automatisées avec des seuils plus bas, tandis que les actions à fort enjeu comme le déclenchement de remboursements doivent exiger une confiance bien plus élevée ou une approbation humaine obligatoire.
Promesses de vitesse et de coût
TypeSafe annonce une latence de bout en bout comprise entre 70 et 500 millisecondes et un tarif d’environ 4.2 cents par million de tokens d’entrée, les tokens de sortie étant presque gratuits. Dans un exemple approximatif de 10,000 messages de support par jour à 500 tokens chacun, environ 47,000 messages pourraient être vérifiés pour environ $1, ce qui rend le système bien moins cher que l’usage d’un LLM généraliste à chaque étape de classification.
La place de Jev aux côtés des LLMs
Jev n’est pas présenté comme un remplacement des LLMs, mais comme un système complémentaire. Un LLM peut rédiger des réponses client, résumer des problèmes ou décider des prochaines étapes dans une boucle d’agent, tandis que Jev gère des questions de contrôle étroites comme quel modèle utiliser, si un appel d’outil est sûr, si une action de remboursement est destructrice, ou si une réponse respecte la politique.
Ce que Jev ne peut pas faire
Le modèle ne convient pas lorsque la tâche exige de générer du texte, de résoudre des problèmes ouverts ou de produire des explications. Il ne peut pas non plus éliminer l’erreur: il n’hallucine peut-être pas en dehors d’une liste de labels fournie, mais il peut quand même choisir avec assurance le mauvais label au sein de cette liste.
Déploiement recommandé
Une voie de déploiement prudente consiste à commencer par une seule décision à faible risque, comme le routage des tickets, et à faire tourner Jev en mode shadow face aux règles existantes. Les équipes peuvent ensuite comparer ses décisions aux résultats réels, mesurer la précision selon la confiance, et fixer des seuils en fonction de leur propre tolérance à l’erreur et du risque métier.
CONCLUSION
Jev cible une lacune croissante des systèmes d’IA: des décisions sémantiques rapides et peu coûteuses qui ne nécessitent pas de texte généré. Sa valeur dépend moins du remplacement des LLMs que de l’amélioration de la couche de contrôle qui les entoure grâce à des probabilités mesurables, des seuils de confiance et des règles d’automatisation plus claires.
Poser une question