Mesure
Une facture de jetons dit ce que vous avez dépensé, pas ce que vous avez obtenu. Comment mesurer les agents pour que les finances et l'ingénierie s'entendent.
22 oct. 2026 · 6 min de lecture
Le schéma et les sources sont en anglais.
Une facture mensuelle de jetons dit ce que vous avez dépensé, pas ce que vous avez obtenu. Les équipes qui exploitent bien leurs agents mesurent le coût par résultat et le relient à un résultat d'affaires choisi avant la construction.
Associez un indicateur clé d'affaires à chaque agent candidat dès l'admission : durée du cycle, taux d'erreur, coût par transaction ou temps de résolution. Il façonne le jeu d'évaluation, la surveillance et la décision de mise en production, et il évite que le rendement du capital investi devienne un récit monté après que l'argent a été dépensé.
L'unité qui tient la route est le coût total de l'agent divisé par les tâches réussies. Elle tient compte des reprises, du travail à refaire, des escalades et du temps de révision. Un modèle moins cher à l'appel peut coûter plus cher par résultat si son travail demande du nettoyage, alors qu'un modèle plus coûteux qui termine en moins d'étapes peut l'emporter.
Un taux de réussite sur une seule exécution masque l'incohérence. Les lignes directrices de Splunk sur l'évaluation des agents rapportent pass^k, la réussite sur des essais répétés, à côté de pass@k. Dans une étude citée sur l'utilisation d'un ordinateur, un agent atteignait environ 78 % de pass@10, mais seulement environ 36 % de pass^10 : il semblait capable, tout en étant trop inconstant pour être mis en production. Mesurez par type de tâche, puisque la prise de rendez-vous en santé exige une constance quasi parfaite, alors qu'un flux de contenu peut tolérer des reprises.
Commencez par le taux d'achèvement des tâches, le coût par session et un indicateur de qualité adapté au principal mode d'échec : l'ancrage dans les sources pour les agents appuyés sur la recherche, l'exactitude des appels d'outils pour les agents qui exécutent des actions. Ajoutez des plafonds de dépenses par fonctionnalité et des solutions de repli, afin qu'un agent qui s'emballe se remarque avant la facture.
La valeur par tâche accomplie moins le coût par tâche accomplie, multipliée par le nombre de tâches accomplies. Pour la réponse la plus nette, comparez à un groupe témoin, car les personnes qui choisissent d'utiliser un agent diffèrent souvent de celles qui ne le font pas.
Parlez-nous d'un processus. Nous vous montrerons comment un agent pourrait le prendre en charge et quoi mesurer pour savoir qu'il fonctionne.