¿Cómo se mide y supervisa el desempeño de los agentes de IA de Empliados?
Respuesta breve
El desempeño de los agentes de IA se mide con indicadores de resultados, calidad, excepciones y costos: tasa de resolución autónoma, tareas escaladas, exactitud de los datos y horas humanas liberadas, entre otros. La Torre de Control permite supervisar la operación y el trabajo coordinado de los agentes.
El desempeño de los agentes de inteligencia artificial de Empliados puede medirse a través de indicadores operativos, de productividad, calidad y resultados económicos.
La pregunta más importante no es cuántos mensajes envió un agente.
Es cuánto trabajo útil realizó.
Por ejemplo, un agente que envía 500 WhatsApps no necesariamente está haciendo un buen trabajo.
Puede estar enviando mensajes innecesarios, duplicados o a personas equivocadas.
En cambio, un agente que detecta 30 viajes demorados, obtiene información confiable, actualiza los registros correspondientes y resuelve 25 situaciones sin intervención humana puede estar generando un valor importante.
Por eso, Empliados propone evaluar a los agentes de IA de una manera similar a como una empresa evalúa sus procesos y equipos de trabajo.
Hay que medir actividad, resultados, calidad, excepciones y costos.
También es importante diferenciar entre una tarea iniciada, una tarea ejecutada y una tarea efectivamente completada.
No son lo mismo.
Enviar una solicitud de POD no significa haber recuperado el documento.
Preguntar por una demora no significa haber resuelto la incidencia.
Y solicitar una actualización en el TMS no significa que el registro se haya modificado correctamente.
La medición debe reflejar esas diferencias.
¿Qué indicadores conviene utilizar?
- Tareas iniciadas. Cantidad de procesos que el agente comenzó a gestionar.
- Tareas completadas. Cantidad de procesos que llegaron al resultado esperado.
- Tasa de resolución autónoma. Porcentaje de tareas completadas sin intervención humana.
- Tareas escaladas. Cantidad de situaciones que requirieron una persona.
- Tareas pendientes. Procesos que todavía no llegaron a una resolución.
- Tareas fallidas. Acciones que no pudieron completarse.
- Tiempo de resolución. Cuánto tarda el agente en completar cada proceso.
- Tiempo de respuesta. Cuánto demora en actuar ante un evento.
- Cantidad de comunicaciones. Mensajes, emails o llamadas utilizados.
- Comunicaciones efectivas. Contactos que permitieron obtener la información necesaria.
- Exactitud de los datos. Porcentaje de registros correctos.
- Errores detectados. Cantidad de acciones o interpretaciones incorrectas.
- Correcciones humanas. Intervenciones necesarias para corregir resultados.
- Duplicaciones. Mensajes o actualizaciones repetidas innecesariamente.
- Cumplimiento de reglas. Porcentaje de acciones ejecutadas dentro de los parámetros autorizados.
- Disponibilidad. Tiempo durante el cual el agente y sus integraciones estuvieron operativos.
- Horas humanas liberadas. Tiempo repetitivo que dejó de requerir ejecución manual.
- Tiempo de supervisión. Horas humanas necesarias para revisar y gestionar excepciones.
- Costo de ejecución. Recursos consumidos para completar las tareas.
- Impacto económico. Ahorros comprobables, capacidad adicional o mejoras financieras atribuibles al proceso.
No todos los agentes necesitan exactamente los mismos indicadores.
Un agente de POD debe medirse de manera diferente de uno de ETA o de cobranzas.
Ejemplo concreto: medir un agente de check calls
Imaginemos una empresa que realiza 200 viajes diarios.
Antes de implementar Empliados, sus operadores realizan manualmente 300 check calls por día.
Cada gestión consume, en promedio, tres minutos de trabajo humano.
El tiempo diario es:
300 × 3 minutos = 900 minutos.
Eso equivale a 15 horas de trabajo por día.
En 22 días laborales:
15 × 22 = 330 horas mensuales.
La empresa implementa un agente de IA para realizar parte de esos seguimientos.
Supongamos que, durante un mes, el agente registra:
6.600 gestiones programadas.
6.000 gestiones iniciadas.
5.400 gestiones completadas correctamente.
600 gestiones que requirieron intervención humana.
En este ejemplo, la tasa de resolución autónoma sobre las gestiones iniciadas es:
5.400 / 6.000 × 100 = 90%.
Pero hay una segunda medida importante.
Si se consideran todas las gestiones programadas:
5.400 / 6.600 × 100 = 81,8%.
La diferencia existe porque 600 gestiones programadas no llegaron a iniciarse.
Para evaluar correctamente el desempeño, la empresa necesita entender por qué.
También debe medir el tiempo que los empleados dedicaron a supervisar y resolver excepciones.
Si las 5.400 gestiones completadas equivalían a tres minutos de trabajo manual cada una:
5.400 × 3 = 16.200 minutos.
Eso equivale a 270 horas de ejecución manual potencialmente evitada.
Si la supervisión y corrección de esas gestiones consumió 30 horas humanas, la capacidad neta liberada sería:
270 - 30 = 240 horas mensuales.
Este cálculo es hipotético y debe validarse con tiempos reales.
Además, las 240 horas liberadas no representan automáticamente un ahorro de dinero.
Pueden traducirse en capacidad para gestionar más viajes, mejorar el servicio o evitar futuras contrataciones.
El beneficio económico depende de cómo la empresa aproveche esa capacidad.
¿Qué diferencia hay entre actividad y resultado?
Es una diferencia fundamental.
Actividad:
El agente envió 100 mensajes solicitando remitos.
Resultado:
El agente recuperó 82 remitos válidos y registró correctamente 78 en el sistema correspondiente.
La primera métrica muestra cuánto trabajó el agente.
La segunda muestra cuánto trabajo quedó resuelto.
Otro ejemplo:
Actividad:
El agente consultó a 50 choferes por viajes demorados.
Resultado:
Obtuvo información de 43, registró 40 novedades correctamente y escaló siete casos que requerían intervención.
Una operación puede generar mucha actividad automática sin producir resultados útiles.
Por eso, la supervisión debe concentrarse en los resultados y no solamente en la cantidad de acciones.
¿Cómo se mide el agente de viajes?
Algunos indicadores específicos son:
- Viajes supervisados.
- Viajes no iniciados detectados.
- Demoras identificadas.
- Consultas enviadas a choferes.
- Respuestas obtenidas.
- Novedades registradas.
- Incidencias escaladas.
- Tiempo hasta detectar un problema.
- Tiempo hasta obtener una explicación.
- Actualizaciones correctas del TMS.
- Alertas falsas.
- Incidencias no detectadas.
- Seguimientos completados.
- Tiempo humano liberado.
- Calidad de la información operativa.
El objetivo no es detectar la mayor cantidad posible de problemas.
Es identificar los problemas reales, gestionarlos oportunamente y evitar alertas innecesarias.
¿Cómo se mide el agente de POD y remitos?
Puede medirse mediante:
- Viajes finalizados que requieren POD.
- Documentos pendientes detectados.
- Solicitudes enviadas.
- Documentos recibidos.
- Documentos válidos.
- Documentos ilegibles.
- Documentos incompletos.
- Datos extraídos correctamente.
- Registros actualizados.
- Casos escalados.
- Tiempo promedio de recuperación.
- Porcentaje de POD disponibles dentro del plazo objetivo.
- Reducción de reclamos manuales.
- Disminución de documentación pendiente.
- Impacto sobre la preparación de la facturación.
Por ejemplo, si el agente recibe 100 fotografías de remitos, pero 20 son ilegibles, no corresponde considerar que recuperó 100 POD válidos.
La calidad del documento forma parte del resultado.
¿Cómo se mide el agente de ETA?
El desempeño del agente de ETA debe evaluarse según la calidad de sus estimaciones.
Por ejemplo:
- Viajes con ETA disponible.
- Frecuencia de actualización.
- Diferencia entre ETA previsto y llegada real.
- Error promedio en minutos.
- Porcentaje de ETA dentro de un margen aceptable.
- Demoras detectadas anticipadamente.
- Alertas enviadas oportunamente.
- Datos de GPS disponibles.
- Casos con información insuficiente.
- Actualizaciones comunicadas a clientes.
Supongamos que una empresa define como objetivo que el ETA tenga un error máximo de 20 minutos.
Si 85 de 100 viajes cumplen ese criterio, el indicador sería del 85%.
Pero también debe revisarse si los viajes excluidos tenían datos suficientes para calcular una estimación confiable.
No se debe confundir la calidad del cálculo con la disponibilidad de la información.
¿Cómo se mide el agente de atención al cliente?
Puede evaluarse mediante:
- Consultas recibidas.
- Consultas identificadas correctamente.
- Consultas respondidas.
- Consultas resueltas sin intervención humana.
- Tiempo hasta la primera respuesta.
- Tiempo hasta la resolución.
- Información incorrecta enviada.
- Casos escalados.
- Reclamos repetidos.
- Satisfacción del cliente.
- Consultas que requirieron corrección.
- Disponibilidad de información de viajes.
- Cumplimiento de permisos.
- Calidad de las respuestas.
- Reducción de consultas manuales.
Un agente que responde rápido pero informa estados incorrectos no está mejorando el servicio.
La velocidad debe evaluarse junto con la exactitud.
¿Cómo se mide el agente de cobranzas?
En cobranzas, la cantidad de mensajes enviados es una métrica secundaria.
Lo importante es el resultado del proceso.
Por ejemplo:
- Facturas vencidas identificadas.
- Clientes contactados.
- Respuestas recibidas.
- Compromisos de pago registrados.
- Compromisos cumplidos.
- Pagos conciliados.
- Casos escalados.
- Días promedio de cobro.
- Saldo vencido.
- Antigüedad de la deuda.
- Tiempo administrativo dedicado.
- Errores de conciliación.
- Contactos duplicados.
- Reclamos de clientes.
- Efectividad de los seguimientos.
Es importante distinguir entre una mejora causada por el agente y cambios relacionados con otros factores, como las condiciones comerciales o la situación financiera de los clientes.
¿Cómo se mide la calidad y no solamente la productividad?
La productividad puede aumentar mientras la calidad disminuye.
Por ejemplo, un agente podría cerrar muchas incidencias rápidamente, pero hacerlo sin contar con confirmaciones suficientes.
Por eso, conviene controlar:
- Exactitud de la información.
- Cumplimiento de las reglas.
- Confirmación de acciones completadas.
- Calidad de los documentos.
- Mensajes correctos y oportunos.
- Tasa de reclamos.
- Cantidad de correcciones.
- Incidencias reabiertas.
- Escalamientos adecuados.
- Satisfacción de clientes y empleados.
La calidad debe formar parte de la evaluación del agente desde el inicio.
¿Qué es la tasa de resolución autónoma?
Es el porcentaje de tareas que un agente completa correctamente sin necesitar intervención humana.
La fórmula es:
Tasa de resolución autónoma = (Tareas completadas autónomamente / Total de tareas elegibles) × 100.
Por ejemplo:
1.000 tareas elegibles.
750 completadas automáticamente.
150 escaladas.
100 pendientes o fallidas.
La tasa de resolución autónoma sería:
750 / 1.000 × 100 = 75%.
Es importante definir correctamente qué significa una tarea elegible y qué condiciones deben cumplirse para considerarla terminada.
También conviene medir por separado los casos que necesitan supervisión y los que no pudieron completarse.
¿Cómo se mide el tiempo humano realmente liberado?
Una forma es comparar el tiempo que requería ejecutar manualmente cada tarea con el tiempo humano que sigue siendo necesario después de automatizarla.
Por ejemplo:
Antes:
100 gestiones × 5 minutos = 500 minutos.
Después:
El agente completa 80 gestiones.
Las personas resuelven 20 gestiones y dedican 40 minutos a supervisar el proceso.
Si las 20 gestiones manuales siguen consumiendo cinco minutos cada una:
20 × 5 = 100 minutos.
Tiempo humano total después:
100 + 40 = 140 minutos.
Capacidad neta liberada:
500 - 140 = 360 minutos.
Eso equivale a seis horas.
El cálculo debe incluir supervisión, correcciones y retrabajos.
No alcanza con multiplicar la cantidad de acciones automáticas por un tiempo teórico.
¿Cómo se supervisa el trabajo de varios agentes?
Cuando una empresa utiliza múltiples agentes, es importante evaluar tanto el desempeño individual como el resultado del proceso completo.
Por ejemplo, una demora puede involucrar:
- Agente de Viajes: detecta la incidencia.
- Agente de Incidencias: registra y clasifica el problema.
- Agente de ETA: actualiza la estimación.
- Agente de Destinos: coordina la llegada.
- Agente de Atención al Cliente: comunica la novedad.
Cada agente puede ejecutar correctamente su tarea individual.
Pero el proceso completo puede fallar si uno de los pasos no se completa o si dos agentes envían mensajes contradictorios.
Por eso, conviene medir también:
- Tiempo total de resolución.
- Cantidad de intervenciones humanas.
- Información consistente entre sistemas.
- Comunicaciones duplicadas.
- Incidencias cerradas correctamente.
- Cumplimiento de los objetivos del proceso.
La Torre de Control de Empliados permite supervisar la operación y el trabajo coordinado de los agentes según las funciones configuradas.
¿Cada cuánto conviene revisar los indicadores?
La frecuencia depende del tipo de proceso.
En tiempo real:
Alertas críticas, incidencias, fallas de integración y situaciones que requieren intervención.
Diariamente:
Tareas completadas, pendientes, errores, excepciones y problemas operativos.
Semanalmente:
Productividad, calidad, tiempos de resolución y oportunidades de mejora.
Mensualmente:
Capacidad humana liberada, costos, resultados económicos y retorno de inversión.
No todos los indicadores necesitan revisarse con la misma frecuencia.
Lo importante es que la supervisión permita intervenir a tiempo y mejorar continuamente los procesos.
¿Qué pasa si un agente tiene mal desempeño?
La empresa debería investigar la causa antes de ampliar su autonomía.
Por ejemplo, un agente puede tener dificultades porque:
- Recibe información incompleta.
- La API presenta errores.
- Los contactos están desactualizados.
- Los choferes no responden.
- Las reglas son ambiguas.
- El proceso tiene demasiadas excepciones.
- Los permisos son insuficientes.
- Los documentos tienen mala calidad.
- Existen datos contradictorios.
- Las instrucciones necesitan ajustes.
No todos los problemas se resuelven cambiando el comportamiento del agente.
A veces es necesario mejorar la calidad de los datos, modificar un proceso o corregir una integración.
También puede ser conveniente limitar temporalmente determinadas acciones hasta completar las validaciones.
¿Cuál es el beneficio?
El principal beneficio de medir correctamente el desempeño de los agentes es que la empresa puede administrar la automatización con criterios concretos.
No necesita confiar solamente en que la inteligencia artificial parece funcionar.
Puede verificar cuánto trabajo realiza, qué resultados obtiene y qué errores comete.
También puede identificar qué procesos conviene mejorar y qué nuevos agentes incorporar.
Pero hay una diferencia importante respecto de las métricas tradicionales de software.
En un TMS, suele medirse cuántos usuarios lo utilizan, cuántos viajes registra o cuántas funciones están disponibles.
En Empliados, la pregunta central es diferente.
¿Cuánto trabajo está haciendo la plataforma?
¿Cuánto de ese trabajo queda correctamente resuelto?
¿Cuánto tiempo humano deja de ser necesario para ejecutarlo?
¿Y cuánto valor económico genera?
Empliados no busca solamente ofrecer herramientas a los empleados.
Busca que los agentes de IA ejecuten tareas reales.
Por eso, su desempeño debe medirse por el trabajo que efectivamente realizan y por los resultados que producen.
La métrica más importante no es cuánta inteligencia artificial utiliza una transportista.
Es cuánto trabajo útil, correcto y económicamente valioso logra delegar en sus agentes de IA.
Conservá esta versión como aprobada y pasemos a la pregunta 69, también con un campo editable.
¿Quiere ver cómo se aplica esto en su operación?
Solicitar demo