Benchmark · agentic
τ²-bench
τ²-bench est une version mise à jour de τ-bench qui évalue les agents d'IA conversationnelle utilisant des outils sur des tâches à « contrôle double » (dual-control), où l'agent comme un utilisateur simulé peuvent effectuer des actions pour accomplir le travail. La métrique principale est le pourcentage de tâches résolues (la récompense moyenne sur les tâches).
En savoir plus
- Exemple
- Un scénario d'assistance technique : l'agent consulte le compte d'un client et suit la politique du domaine tout en guidant un utilisateur simulé pour qu'il effectue des étapes sur son propre appareil (par exemple modifier un réglage), et les deux doivent se coordonner pour résoudre le problème.
- Notation
- Chaque tâche se termine par une vérification automatique de la correspondance entre l'état final du système/de la base de données et le résultat attendu, ce qui donne une récompense par tâche ; le score rapporté est le pourcentage de tâches résolues (ou la récompense moyenne).
- Vérification
- L'acceptation est entièrement programmatique : l'environnement compare l'état final (et les actions requises) au résultat attendu, sans notation humaine, de sorte qu'une tâche ne compte que lorsque le résultat correspond.
- Pourquoi c'est important
- C'est important parce que les vrais assistants ne peuvent souvent pas agir seuls — ils doivent instruire un utilisateur et se coordonner avec lui — et ce dispositif à contrôle double révèle des défaillances de communication et de coordination que les benchmarks à acteur unique manquent.
Exemple résolu
Tâche
τ²-bench, domaine télécom (dual-control) : un utilisateur simulé écrit : « Depuis ce matin je n'ai plus de données mobiles, mais les appels et les SMS fonctionnent encore. » À partir du document de politique de l'opérateur et des outils — ainsi que des actions que l'utilisateur peut effectuer sur son propre téléphone —, authentifiez le client, diagnostiquez la panne et rétablissez les données mobiles.
Solution
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
Explication
La voix et les SMS fonctionnant alors que les données sont coupées sur une ligne active et sans panne réseau, le défaut est côté appareil ; l'arbre de dépannage de la politique le résout donc en guidant l'utilisateur pour réactiver Mobile Data (et interdit tout geste commercial pour une réparation faite par l'utilisateur). τ²-bench attribue une récompense par tâche (0/1) en vérifiant que l'environnement/la base de données atteint l'état final attendu et que toutes les actions requises et les informations communiquées sont présentes, puis rapporte la fiabilité sur des essais répétés via la métrique pass^k.