ベンチマーク · agentic

τ-bench

0 結果 0 モデル

τ-bench は、AI エージェントがカスタマーサポート役として複数ターンの対話を行いながら、ユーザーの要望を満たすために tools や API を呼び出す能力を測定します。スコアは、エージェントが正しく完了したタスクの割合です。

詳しく見る

例: 小売や航空分野のタスク——例えば、ユーザーがエージェントに注文のキャンセルや変更を依頼し、エージェントは必要な情報を尋ねたうえで、その分野の規則やポリシーに従って適切なバックエンド API を呼び出す必要があります。
採点方法: 指標は正しく解けたタスクの割合で、対話後のデータベースや環境の最終状態がタスクの期待される結果と一致したときにそのタスクは成功とみなされます。結果は通常、成功率（pass@1）として報告され、pass^k という変種が繰り返し実行時の安定性を測ります。
検証方法: 検証は人手による判定ではなく自動で行われます。対話の後、ベンチマークはシステムの最終状態（およびユーザーに伝えられた情報）をあらかじめ定めた期待結果と比較し、客観的に一致した場合のみ成功と数えます。
重要な理由: 業務ルールの下でユーザーと対話しつつ tools を通じて実際に操作するという、現実的で商業的にも重要なユースケースを反映しており、一度は成功したモデルが同じタスクを再試行すると失敗しがちであるという信頼性の弱点を浮き彫りにします。

解説付きの例

課題

τ-bench の retail（小売）ドメインで、シミュレートされたユーザーがエージェントにこう伝えます。「こんにちは、注文 #W2611340 をキャンセルしたいです。間違えて注文してしまいました」。店舗ポリシー（'pending' 状態の注文のみキャンセル可能で、理由は許可された値でなければならない）に従い、エージェントはユーザーを認証し、注文を確認し、ユーザーに確認を取り、tool call で注文をキャンセルする必要があります。

解答

# 1) Authenticate the user (policy: verify identity before any action)
find_user_id_by_email(email="mia.li.3818@example.com")
# 2) Look up the order and confirm status == "pending"
get_order_details(order_id="#W2611340")
# 3) After the user confirms, cancel with an allowed reason enum
cancel_pending_order(order_id="#W2611340", reason="ordered by mistake")

解説

ポリシーは 'pending' 状態の注文のみキャンセルを許可し、理由を2つの enum 値（'no longer needed' / 'ordered by mistake'）に制限するため、エージェントはまず認証し、状態を確認し、ユーザーの同意を得てから書き込み呼び出しを行います。τ-bench はデータベースの最終状態を注釈付きの目標状態（注文が 'cancelled' になっている）と比較して採点し、繰り返し試行での pass^k 信頼性を報告します。

このベンチマークの検証済みスコアはまだありません。