Benchmark · agentic
τ²-bench
τ²-bench 是 τ-bench 的更新版本，用于在「双控制」（dual-control）任务上评测使用工具的对话式 AI 智能体；在这类任务中，智能体和被模拟的用户都可以采取行动来完成工作。核心指标是任务解决的百分比（各任务的平均奖励）。
了解更多
- 示例
- 一个技术支持场景：智能体查询客户账户并遵循该领域的策略，同时引导被模拟的用户在其自己的设备上执行操作（例如更改某项设置），双方必须协同配合才能解决问题。
- 评分方式
- 每个任务结束时都会自动检查系统/数据库的最终状态是否与要求的结果一致，从而为该任务给出奖励；最终报告的分数是任务解决的百分比（或平均奖励）。
- 验证方式
- 验收完全由程序自动完成——环境将最终状态（以及必需的操作）与预期结果进行比对，无需人工评分，因此只有当结果匹配时任务才算完成。
- 为何重要
- 它之所以重要，是因为真实助手往往无法独自完成任务——它们必须指导用户并与之协作——而这种双控制设置能暴露出单一执行者的工具基准所忽略的沟通与协作缺陷。
示例解析
任务
τ²-bench,电信(dual-control 双控)领域:模拟用户写道:「从今天早上开始我的移动数据用不了了,但通话和短信还正常。」在给定运营商政策文档和工具,以及用户可在自己手机上执行的设备操作的情况下,验证客户身份、诊断故障并恢复移动数据。
解答
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
解析
在线路处于 active 且无网络故障时,语音和短信正常而数据中断,说明故障出在设备端,因此政策的排障决策树通过引导用户重新开启 Mobile Data 来解决(并禁止为用户自助修复给予任何补偿)。τ²-bench 为每个任务给出 0/1 的奖励:检查环境/数据库是否达到预期的最终状态,以及所有必需操作和应传达的信息是否齐全,然后用 pass^k 指标报告在重复试验中的可靠性。