Benchmark · agentic
τ²-bench
τ²-bench adalah versi terbaru dari τ-bench yang menguji agen AI percakapan pengguna alat (tool) pada tugas «kontrol ganda» (dual-control), di mana baik agen maupun pengguna yang disimulasikan sama-sama dapat melakukan tindakan untuk menyelesaikan pekerjaan. Metrik utamanya adalah persentase tugas yang berhasil diselesaikan (rata-rata imbalan antar tugas).
Selengkapnya
- Contoh
- Sebuah skenario dukungan teknis: agen memeriksa akun pelanggan dan mengikuti kebijakan domain sambil memandu pengguna yang disimulasikan untuk melakukan langkah-langkah di perangkatnya sendiri (misalnya mengubah suatu pengaturan), dan keduanya harus berkoordinasi untuk menyelesaikan masalah.
- Penilaian
- Setiap tugas diakhiri dengan pemeriksaan otomatis apakah keadaan akhir sistem/basis data sesuai dengan hasil yang diminta, sehingga menghasilkan imbalan per tugas; skor yang dilaporkan adalah persentase tugas yang terselesaikan (atau rata-rata imbalan).
- Verifikasi
- Penerimaan sepenuhnya dilakukan secara program — lingkungan membandingkan keadaan akhir (dan tindakan yang diperlukan) dengan hasil yang diharapkan, tanpa penilaian manusia, sehingga sebuah tugas hanya dihitung jika hasilnya cocok.
- Mengapa penting
- Ini penting karena asisten nyata sering kali tidak bisa bertindak sendiri — mereka harus mengarahkan dan berkoordinasi dengan pengguna — dan skema kontrol ganda ini mengungkap kegagalan komunikasi dan koordinasi yang terlewat oleh benchmark alat berpelaku tunggal.
Contoh penyelesaian
Tugas
τ²-bench, domain telekomunikasi (dual-control): seorang pengguna tersimulasi menulis, «Sejak pagi ini data seluler saya tidak berfungsi, tetapi telepon dan SMS masih bisa.» Dengan dokumen kebijakan operator dan berbagai tool — ditambah aksi perangkat yang bisa dilakukan pengguna sendiri di ponselnya —, autentikasi pelanggan, diagnosis kerusakannya, dan pulihkan data seluler.
Solusi
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
Penjelasan
Karena telepon dan SMS berfungsi sementara data mati pada line yang active dan tanpa gangguan jaringan, kerusakan ada di sisi perangkat, sehingga pohon pemecahan masalah dari kebijakan menyelesaikannya dengan memandu pengguna mengaktifkan kembali Mobile Data (dan melarang kredit niat baik untuk perbaikan yang dilakukan sendiri). τ²-bench memberi reward per tugas (0/1) dengan memeriksa apakah environment/database mencapai keadaan akhir yang diharapkan dan apakah semua aksi yang diwajibkan serta informasi yang disampaikan sudah ada, lalu melaporkan keandalan pada percobaan berulang melalui metrik pass^k.