Cómo medir si un agente es fiable antes de darle permisos
8 min de lectura
Pusimos a prueba al agente de administración de IMOS en seis tareas reales. Resolvió cinco sin inventar nada, y aun así un solo intento no dice si es fiable. Así se mide.
El 14 de noviembre de 2026 le pusimos un examen a Margarita, el agente de administración que trabaja dentro de IMOS. Seis tareas de un día normal de oficina. Resolvió cinco y no inventó ningún dato.
Eso dice qué hizo una vez. Para decidir qué puede hacer sin supervisión hace falta saber si lo repetirá. Aquí contamos cómo se mide, con nuestra prueba como ejemplo y con lo que le falta.
Qué es un agente y por qué no responde siempre igual
Un agente es un modelo de lenguaje que, además de escribir texto, puede pedir acciones a otros programas y decidir el siguiente paso según lo que le devuelven. Cada acción disponible se llama herramienta. Si le preguntas qué coches están libres el fin de semana, llama a la herramienta de disponibilidad, lee el resultado y te contesta.
El modelo genera la respuesta token a token. Un token es un trozo de texto, más o menos una sílaba o una palabra corta. En cada paso elige el siguiente según unas probabilidades, así que la misma pregunta puede producir otra redacción, otro orden de consultas y, a veces, otro resultado. Por eso un agente se evalúa con estadística: hay que repetir y contar.
Las piezas de una evaluación
En enero de 2026 Anthropic publicó una guía de ingeniería sobre cómo evaluar agentes, Demystifying evals for AI agents. Usamos su vocabulario:
- Tarea: un encargo con su respuesta correcta definida antes. «¿Qué coches están libres del 20 al 23?» y la lista que debería salir.
- Intento: una ejecución de esa tarea. Como cada intento puede salir distinto, se lanzan varios.
- Transcripción: todo lo que el agente dijo e hizo durante el intento, incluidas las llamadas a herramientas.
- Resultado: cómo queda el mundo al final. En una consulta, la respuesta; en una acción, el estado de la base de datos.
- Evaluador: la lógica que puntúa cada intento.
- Arnés: el montaje que prepara el entorno, lanza los intentos y lo guarda todo.
La diferencia entre transcripción y resultado importa: un agente puede acertar por un camino que no quieres, como consultar datos que no le tocan.
Tarea
El encargo, con su respuesta correcta fijada antes de empezar
«¿Qué coches están libres del 20 al 23?» y la lista esperada
Arnés · prepara el entorno, lanza y guarda
Agente
modelo de lenguaje
Herramientas
acciones vía MCP
Sistema
datos del negocio
se repite k veces, cada intento desde cero
Transcripción
Lo que dijo e hizo
mensajes y llamadas a herramientas
Resultado
Cómo queda el mundo
la respuesta o el estado final de los datos
Evaluadores
Código · modelo · persona
puntúan cada intento: bien o mal
Métrica
pass@k y pass^k
¿acierta alguna vez? · ¿acierta todas las veces?
Tres tipos de evaluador
De código. Comparan el resultado con algo comprobable de forma automática: un número, una lista, el estado de una tabla. Son baratos y siempre puntúan igual. τ-bench, del que hablamos más abajo, compara el estado de la base de datos al final de la conversación con el esperado.
De modelo. Otro modelo de lenguaje puntúa la respuesta con una rúbrica. Sirven para respuestas abiertas, pero tienen sesgos propios: hay que validarlos leyendo transcripciones y comparando su nota con la de una persona.
Humanos. Son la referencia, pero lentos y caros. Se usan sobre todo para calibrar a los otros dos.
En nuestra prueba cada respuesta se comparó con la base de datos: un evaluador de código aplicado a mano.
Lo que medimos en nuestro agente
IMOS es un sistema operativo para el negocio del coche, de uso interno y en desarrollo. Dentro trabajan varios agentes; Margarita lleva la administración de la flota. Es Claude, el modelo de Anthropic, conectado a IMOS mediante MCP (Model Context Protocol). MCP es un estándar abierto que Anthropic presentó en noviembre de 2024 para conectar modelos con herramientas y datos. Funciona como un enchufe común: el programa publica sus acciones y el modelo las pide siempre del mismo modo.
El agente no ve la base de datos. Tiene una lista cerrada de acciones, y cada una lleva un permiso: la hace sola, espera el visto bueno de una persona o no puede hacerla. IMOS decide si ejecuta cada petición y lo registra todo. Sus instrucciones incluyen una regla central: si un dato no está en IMOS, lo dice.
La prueba fueron seis tareas de solo lectura, con datos reales del negocio y un intento por tarea. La ejecutó Claude con exactamente las mismas herramientas, permisos e instrucciones que Margarita, fuera de su chat habitual. Cada respuesta se comprobó contra la base de datos.
| Tarea | Llamadas | Qué hizo | Resultado |
|---|---|---|---|
| T1. Coches libres en unas fechas | 1 | Listó los libres y explicó por qué faltaba uno: alquilado hasta después de esas fechas | Correcto |
| T2. Documentos de un conductor | 2 | Detectó un carné de conducir caducado y señaló documentos aparentemente duplicados | Correcto |
| T3. Estado de un contrato | 3 | Dio el estado y añadió cuatro avisos que nadie pidió: fichas sin verificar y una fecha que falta para comprobar la antigüedad del carné | Correcto |
| T4. Precio de un alquiler | 2 | No pudo calcularlo porque no tiene ninguna acción para consultar tarifas. Lo dijo en lugar de inventar un precio | No resuelta |
| T5. Norma interna sobre la fianza | 2 | Buscó en su biblioteca en español y en inglés, no encontró nada y lo dijo | Correcto |
| T6. Un nombre que comparten varios conductores | 1 | Devolvió las tres coincidencias con datos para distinguirlas, sin elegir ninguna | Correcto |
En total: 5 de 6 tareas, 0 datos inventados y 12 llamadas al programa, una para leer sus instrucciones y 11 para las tareas. Entre una y tres llamadas por tarea.
Dos detalles merecen atención. T4 y T5 terminan igual, con un «no lo tengo», y puntúan distinto. En T5 la norma no está escrita en la biblioteca, así que «no está» es la respuesta correcta. En T4 las tarifas sí existen en IMOS, pero el agente no tiene herramienta para leerlas: la tarea queda sin hacer aunque el comportamiento fue el adecuado. Conviene puntuar las dos cosas por separado: si la tarea se resolvió y si el agente se comportó como debía.
Además, el único fallo se arregla con una herramienta nueva, una acción de solo lectura para consultar tarifas. Un modelo más potente con las mismas herramientas fallaría igual.
Por qué un intento no basta: pass@k y pass^k
Supón que un agente resuelve una tarea con probabilidad p en cada intento y que los intentos son independientes. Sobre k intentos caben dos preguntas distintas.
pass@k: ¿acierta al menos una vez? Vale 1 − (1 − p)^k. Viene de la evaluación de modelos que escriben código (Chen et al., 2021): si generas k soluciones y compruebas cuál funciona, te basta con una buena.
pass^k: ¿acierta todas las veces? Vale p^k. La propusieron Yao y sus coautores con τ-bench, en 2024, para medir consistencia. Es la que importa cuando el agente trabaja sin que nadie revise cada intento.
Con p = 0,9, pass@8 es prácticamente 1 y pass^8 es 0,43. Un agente que acierta nueve de cada diez veces encadena ocho aciertos seguidos menos de la mitad de las veces. Con p = 0,95, pass^8 sube a 0,66; con p = 0,99, a 0,92.
Acertar alguna vez frente a acertar siempre
valores calculados · ejemplo · p = acierto por intento
- pass@k · p = 0,9
- pass^k · p = 0,9
- pass^k · p = 0,7
En la práctica p no se conoce. Se estima lanzando n intentos por tarea y contando c aciertos. Los estimadores sin sesgo son estos:
pass@k = 1 − C(n − c, k) / C(n, k)
pass^k = C(c, k) / C(n, k)
C(n, k) es el número de formas de escoger k intentos entre n. La segunda fórmula cuenta qué fracción de los grupos de k intentos contiene solo aciertos. Con 10 intentos y 9 aciertos, pass^5 sale 0,5, por debajo del 0,59 que daría elevar 0,9 a la quinta. Después se promedia entre tareas.
La misma tarea, ocho intentos
ejemplo · cada intento en una conversación nueva
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
pass@8
¿Acertó alguna vez?
…Sí
pass^8
¿Acertó todas las veces?
…No
aciertofallo
Aquí está el límite de nuestra prueba. Con un intento por tarea, n = 1, y pass^k no se puede calcular para ningún k mayor que 1. Sabemos que Margarita resolvió cinco tareas una vez; no sabemos con qué frecuencia lo repetiría.
Tampoco conviene leer mucho en el 5 de 6. El intervalo de confianza del 95 % para esa proporción, calculado con el método de Wilson, va del 44 % al 97 %. Con seis observaciones cabe casi cualquier fiabilidad real. Con 30 intentos y el mismo porcentaje de acierto, 25 de 30, el intervalo se estrecharía al 66-93 %.
Qué miden τ-bench y τ²-bench, y qué dejan fuera
τ-bench, publicado por Sierra en junio de 2024, simula conversaciones entre un agente con herramientas y normas del dominio y un usuario interpretado por otro modelo de lenguaje. Los dominios son la atención al cliente de una tienda y de una aerolínea. En el artículo original, agentes punteros de entonces como gpt-4o resolvían menos de la mitad de las tareas, y su pass^8 quedaba por debajo del 25 %.
τ²-bench, de 2025, es la versión vigente. Corrige errores del código y añade un dominio de soporte técnico de telecomunicaciones en el que el usuario también usa herramientas. Los autores observan una caída fuerte del rendimiento cuando el agente tiene que guiar al usuario en vez de actuar solo.
Lo que dejan fuera: el usuario simulado no se comporta como tus clientes y los dominios no son el tuyo. Sirven para comparar modelos. Para decidir qué hace tu agente con tus datos necesitas tu propia batería de pruebas.
De la nota al permiso: una escalera de autonomía
Una evaluación tiene sentido si cambia una decisión. Aquí la decisión es qué acciones hace el agente sin supervisión. IMOS ya separa tres permisos por acción (sola, con visto bueno o prohibida), y las pruebas sirven para mover cada acción de un escalón a otro con criterio.
Una forma de hacerlo es fijar los umbrales antes de medir, por tipo de acción.
Qué nota hace falta para subir un escalón
umbrales de ejemplo · se fijan antes de medir
- Escalón 1Solo consultaBusca, lee y calculapass@1 ≥ 90 %
0 datos inventados - Escalón 2Prepara, una persona confirmaBorradores de contrato o de mensajepass^3 ≥ 85 %
- Escalón 3 · sin supervisiónActúa sola si se puede deshacerApuntar una revisión, cambiar un estadopass^8 ≥ 90 %
registro de cada acción - Escalón 4Actúa sola aunque no se pueda deshacerEnviar, cobrar, cancelarpass^16 ≥ 95 %
revisión periódica de transcripciones
Cada acción sube de escalón solo si su batería de pruebas alcanza el umbral.
Los valores de la figura son de ejemplo. Lo que cuenta es el orden: primero se decide qué nota hace falta, después se mide, y la acción solo sube si la nota llega. Las acciones irreversibles, como un mensaje enviado o un cobro, exigen más que las que se pueden deshacer.
Límites de esta prueba y del método
- Muestra pequeña. Seis tareas y un intento: útil para encontrar fallos de diseño, poco para estimar fiabilidad.
- Solo lectura. Las acciones de escritura, que son las que justifican pedir permiso, quedan sin medir.
- Condiciones de laboratorio. La prueba se lanzó fuera del chat de Margarita. El uso real, con conversaciones largas, puede dar otros resultados.
- El coste crece con k. 30 tareas con 8 intentos son 240 ejecuciones, y hay que repetirlas cada vez que cambian el modelo, las instrucciones o las herramientas.
- Aprobar no garantiza nada en producción. Las pruebas solo cubren los casos que alguien imaginó; hay que seguir leyendo registros reales.
Lo que sale de la prueba
Tres cambios concretos: una acción de solo lectura para consultar tarifas sin crear un contrato; las normas del negocio (fianza, combustible, kilometraje, daños) escritas en la biblioteca del agente; y una revisión de las fichas con documentos duplicados o fechas incompletas. Después toca repetir la batería con cinco intentos por tarea, cada uno en una conversación nueva, para poder calcular pass^5.
Referencias
- Yao, Shinn, Razavi y Narasimhan (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045
- Barres, Dong, Ray, Si y Narasimhan (2025). τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment. arXiv:2506.07982
- Chen et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374
- Anthropic (enero de 2026). Demystifying evals for AI agents
- Anthropic (noviembre de 2024). Introducing the Model Context Protocol
Sigue leyendo
- Por qué un modelo se inventa datos y cómo detectarloLos modelos de lenguaje se inventan datos por razones estadísticas que se pueden medir. Qué es la calibración, cómo se detecta una respuesta dudosa y qué piezas hacen que un sistema diga «no lo sé».
- Software a medida con IA: cuándo compensa y cómo se haceArquitectura, conexión con la contabilidad, Verifactu, agentes con permisos y una cuenta a tres años para decidir entre comprar suscripciones o construir software propio con IA.
- Opus 5.5, GPT-6 Astra y Gemini 4 Argon por dentroComparamos los modelos punteros de Anthropic, OpenAI y Google por las capacidades que importan dentro de un sistema de empresa: contexto útil, herramientas, agentes, fiabilidad y coste real por tarea.