Benchmark · agentic
τ²-bench
τ²-bench es una versión actualizada de τ-bench que evalúa a agentes de IA conversacional que usan herramientas en tareas de «control dual» (dual-control), donde tanto el agente como un usuario simulado pueden realizar acciones para completar el trabajo. La métrica principal es el porcentaje de tareas resueltas (la recompensa media entre tareas).
Leer más
- Ejemplo
- Un escenario de soporte técnico: el agente consulta la cuenta de un cliente y sigue la política del dominio mientras guía a un usuario simulado para que ejecute pasos en su propio dispositivo (por ejemplo, cambiar un ajuste), y ambos deben coordinarse para resolver el problema.
- Puntuación
- Cada tarea termina con una comprobación automática de si el estado final del sistema/base de datos coincide con el resultado requerido, lo que da una recompensa por tarea; la puntuación reportada es el porcentaje de tareas resueltas (o la recompensa media).
- Verificación
- La aceptación es totalmente programática: el entorno compara el estado final (y las acciones requeridas) con el resultado esperado, sin calificación humana, de modo que una tarea solo cuenta cuando el resultado coincide.
- Por qué importa
- Importa porque los asistentes reales a menudo no pueden actuar solos —deben instruir y coordinarse con un usuario— y este esquema de control dual expone fallos de comunicación y coordinación que los benchmarks de un solo actor pasan por alto.
Ejemplo resuelto
Tarea
τ²-bench, dominio de telecomunicaciones (dual-control): un usuario simulado escribe: «Desde esta mañana no tengo datos móviles, pero las llamadas y los SMS sí funcionan». Con el documento de políticas del operador y las herramientas —además de acciones en el dispositivo que el usuario puede realizar en su propio teléfono—, autentica al cliente, diagnostica la falla y restablece los datos móviles.
Solución
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
Explicación
Como la voz y los SMS funcionan mientras los datos están caídos en una línea activa y sin corte de red, la falla es del dispositivo, así que el árbol de diagnóstico de la política la resuelve guiando al usuario a reactivar Mobile Data (y prohíbe cualquier crédito de cortesía por una solución hecha por el propio usuario). τ²-bench asigna una recompensa por tarea (0/1) comprobando que el entorno/base de datos alcanza el estado final esperado y que están presentes todas las acciones requeridas y la información comunicada, y luego reporta la fiabilidad en ensayos repetidos mediante la métrica pass^k.