벤치마크 · agentic
τ²-bench
τ²-bench는 τ-bench의 업데이트 버전으로, 도구를 사용하는 대화형 AI 에이전트를 '이중 제어(dual-control)' 과제에서 평가합니다. 이 과제에서는 작업을 완수하기 위해 에이전트와 시뮬레이션된 사용자 모두가 행동을 취할 수 있습니다. 핵심 지표는 해결된 과제의 비율(과제 전반의 평균 보상)입니다.
자세히 보기
- 예시
- 기술 지원 시나리오: 에이전트는 고객의 계정을 조회하고 도메인 정책을 따르면서, 시뮬레이션된 사용자가 자신의 기기에서 단계를 수행하도록(예: 설정 변경) 안내하며, 문제를 해결하려면 둘이 서로 협력해야 합니다.
- 채점 방식
- 각 과제가 끝나면 시스템/데이터베이스의 최종 상태가 요구된 결과와 일치하는지 자동으로 확인해 해당 과제의 보상을 부여하며, 보고되는 점수는 해결된 과제의 비율(또는 평균 보상)입니다.
- 검증 방식
- 승인은 전적으로 프로그램으로 이루어집니다. 환경이 최종 상태(및 필수 행동)를 기대 결과와 비교하며 사람이 채점하지 않으므로, 결과가 일치할 때만 과제가 완료로 집계됩니다.
- 왜 중요한가
- 이것이 중요한 이유는 실제 어시스턴트가 혼자서는 행동하지 못하는 경우가 많아 사용자에게 지시하고 협력해야 하기 때문이며, 이 이중 제어 설정은 단일 행위자 도구 벤치마크가 놓치는 의사소통과 협업의 실패를 드러냅니다.
예제 풀이
문제
τ²-bench, telecom(dual-control) 도메인: 시뮬레이션된 사용자가 «오늘 아침부터 모바일 데이터가 안 되는데, 통화와 문자는 여전히 됩니다»라고 씁니다. 통신사 정책 문서와 도구, 그리고 사용자가 자기 휴대폰에서 직접 수행할 수 있는 기기 조작이 주어졌을 때, 고객을 인증하고 결함을 진단하여 모바일 데이터를 복구하세요.
해답
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
풀이
회선이 active이고 네트워크 장애도 없는데 통화·문자는 되고 데이터만 끊겼다면 결함은 기기 쪽이므로, 정책의 문제 해결 트리는 사용자에게 Mobile Data를 다시 켜도록 안내해 해결합니다(자가 해결에 대한 보상 크레딧은 금지). τ²-bench는 작업마다 0/1 보상을 매기는데, 환경/데이터베이스가 기대한 최종 상태에 도달했는지와 필요한 모든 동작 및 전달해야 할 정보가 갖춰졌는지를 검사한 뒤, pass^k 지표로 반복 시행에서의 신뢰성을 보고합니다.