Medición
La cuenta de tokens dice cuánto gastaste, no qué obtuviste. Cómo medir a los agentes para que finanzas e ingeniería estén de acuerdo.
22 oct 2026 · 6 min de lectura
El diagrama y las fuentes están en inglés.
La cuenta mensual de tokens dice cuánto gastaste, no qué obtuviste. Los equipos que operan bien a sus agentes miden el costo por resultado y lo vinculan a un resultado de negocio elegido antes de construir.
Asigna un KPI de negocio a cada agente candidato desde el ingreso: tiempo de ciclo, tasa de error, costo por transacción o tiempo de resolución. Moldea el conjunto de evaluación, el monitoreo y la decisión de lanzamiento, y evita que el retorno de la inversión se vuelva un relato armado después de gastar el dinero.
La unidad que resiste es el costo total del agente dividido por las tareas exitosas. Captura los reintentos, el retrabajo, las escalaciones y el tiempo de revisión. Un modelo más barato por llamada puede resultar más caro por resultado si su trabajo necesita limpieza, mientras que un modelo más caro que termina en menos pasos puede ganar.
La tasa de aprobación de una sola ejecución esconde la inconsistencia. La guía de Splunk sobre evaluación de agentes informa pass^k, el éxito en intentos repetidos, junto a pass@k. En un estudio citado de uso de computador, un agente alcanzó cerca de un 78 % de pass@10 pero solo cerca de un 36 % de pass^10: parecía capaz y aun así era demasiado inconsistente para lanzarse. Mide por tipo de tarea, ya que la agenda de citas médicas exige una consistencia casi perfecta mientras que un flujo de contenido puede tolerar reintentos.
Empieza con la tasa de finalización de tareas, el costo por sesión y una métrica de calidad acorde al principal modo de falla: fundamentación para agentes apoyados en recuperación, exactitud de las llamadas a herramientas para agentes que ejecutan acciones. Agrega topes de gasto por funcionalidad y alternativas de respaldo, para que un agente desbocado se note antes que la factura.
Valor por tarea completada menos costo por tarea completada, multiplicado por el número de tareas completadas. Para la respuesta más limpia compara contra un grupo de control, porque las personas que eligen usar un agente suelen diferir de las que no.
Cuéntanos un proceso. Te enseñamos cómo podría resolverlo un agente y qué medir para comprobar que funciona.