Бенчмарк · agentic
τ²-bench
τ²-bench — обновлённая версия τ-bench, которая проверяет разговорных ИИ-агентов, использующих инструменты, на задачах с «двойным управлением» (dual-control), где действия для выполнения задачи могут совершать и агент, и симулированный пользователь. Главная метрика — процент успешно решённых задач (средняя награда по задачам).
Подробнее
- Пример
- Сценарий техподдержки: агент находит учётную запись клиента и следует политике домена, одновременно направляя симулированного пользователя выполнить шаги на его собственном устройстве (например, изменить настройку), и обе стороны должны скоординироваться, чтобы решить проблему.
- Метрика
- Каждая задача завершается автоматической проверкой того, совпадает ли итоговое состояние системы/базы данных с требуемым результатом, что даёт награду за задачу; итоговый показатель — процент решённых задач (или средняя награда).
- Приёмка
- Приёмка полностью программная — окружение сравнивает конечное состояние (и обязательные действия) с ожидаемым результатом без участия человека, поэтому задача засчитывается только при совпадении результата.
- Почему важно
- Это важно, потому что реальные ассистенты часто не могут действовать в одиночку — им нужно инструктировать пользователя и координироваться с ним, — а режим двойного управления выявляет сбои в коммуникации и координации, которые пропускают бенчмарки с одним действующим лицом.
Разбор примера
Задача
τ²-bench, телеком-домен (dual-control): симулированный пользователь пишет: «С утра не работает мобильный интернет, но звонки и SMS проходят». Имея документ с политикой оператора и инструменты — плюс действия на устройстве, которые пользователь может выполнить на своём телефоне, — аутентифицируйте клиента, диагностируйте неисправность и восстановите мобильный интернет.
Решение
Correct agent trajectory (telecom tools + user-side device actions):
1. get_customer_by_phone(number); confirm identity via name + DOB.
2. get_line_status(line_id) → "active"; get_network_status(region) → "operational" (rules out account suspension and network outage).
3. Follow the "data down / voice up" branch: user confirms Airplane Mode is OFF, then agent instructs the user to switch "Mobile Data" ON.
4. Verify data is restored; apply NO billing credit (policy forbids a fee/credit for a self-service fix).
Resolution → user enables Mobile Data; connectivity restored, account state unchanged.
Разбор
Раз голос и SMS работают, а данные не идут при активной линии и без сбоя сети, неисправность на стороне устройства, поэтому дерево диагностики из политики решает её, направляя пользователя снова включить Mobile Data (и запрещает начислять компенсацию за самостоятельное исправление). τ²-bench выставляет за задачу вознаграждение (0/1), проверяя, что окружение/база данных приходит в ожидаемое конечное состояние и что все требуемые действия и переданная информация присутствуют, а затем сообщает надёжность по серии повторов через метрику pass^k.