ベンチマーク · agentic
τ²-bench
τ²-bench は τ-bench の更新版で、ツールを使う対話型 AI エージェントを「dual-control（二者制御）」タスクで評価します。これは、作業を完了するためにエージェントとシミュレートされたユーザーの双方が行動を取れるタスクです。主要な指標は、解決されたタスクの割合（タスク全体の平均報酬）です。
詳しく見る
- 例
- テクニカルサポートのシナリオ: エージェントは顧客のアカウントを調べてドメインのポリシーに従いつつ、シミュレートされたユーザーに自分の端末で操作（例えば設定の変更）を行うよう案内し、問題を解決するには両者が連携しなければなりません。
- 採点方法
- 各タスクの終了時に、システム／データベースの最終状態が要求された結果と一致するかを自動でチェックし、そのタスクの報酬を与えます。報告されるスコアは、解決されたタスクの割合（または平均報酬）です。
- 検証方法
- 受理は完全にプログラムで行われ、環境が最終状態（および必要な操作）を期待される結果と比較します。人手による採点はなく、結果が一致したときにのみタスクが達成とみなされます。
- 重要な理由
- これが重要なのは、実際のアシスタントは単独で行動できないことが多く、ユーザーに指示し連携する必要があるからです。この二者制御の設定は、単独実行のツールベンチマークが見逃す、コミュニケーションと連携の失敗を明らかにします。
解説付きの例
課題
τ²-bench、telecom(dual-control)ドメイン:シミュレートされたユーザーが「今朝からモバイルデータが使えませんが、通話とSMSはまだ使えます」と書きます。通信事業者のポリシー文書とツール、さらにユーザーが自分のスマホ上で実行できる端末操作が与えられたうえで、顧客を認証し、不具合を診断してモバイルデータを復旧してください。
解答
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
解説
回線が active でネットワーク障害もない状態で、通話とSMSは使えるのにデータだけ不通なら、不具合は端末側なので、ポリシーの切り分けツリーはユーザーに Mobile Data を再度オンにするよう案内して解決します(自己解決に対する見舞いクレジットは禁止)。τ²-bench はタスクごとに 0/1 の報酬を与え、環境/データベースが期待された最終状態に達し、必要な操作と伝達すべき情報がすべて揃っているかを確認し、pass^k 指標で繰り返し試行における信頼性を報告します。