Бенчмарк · agentic

τ-bench

0 результатов 0 моделей

τ-bench оценивает, насколько хорошо AI-агент ведёт многоходовой диалог в роли службы поддержки, вызывая инструменты и API для выполнения запроса пользователя. Оценка — это доля задач, решённых агентом правильно.

Подробнее

Пример: Задача в сфере ритейла или авиаперевозок — например, пользователь просит агента отменить или изменить заказ, и агент должен уточнить нужные детали, а затем вызвать правильные бэкенд-API, соблюдая правила и политику этой области.
Метрика: Метрика — доля правильно решённых задач; задача считается решённой, когда итоговое состояние базы данных или мира совпадает с ожидаемым результатом. Обычно результат приводят как долю успехов (pass@1), а вариант pass^k измеряет стабильность при повторных запусках.
Приёмка: Проверка автоматическая, а не человеческая: после диалога бенчмарк сравнивает получившееся состояние системы (и информацию, переданную пользователю) с заранее заданным ожидаемым результатом, поэтому засчитывается только объективное совпадение.
Почему важно: Он отражает реалистичный и коммерчески важный сценарий — агенты, которые должны одновременно вести диалог и действовать через инструменты в рамках бизнес-правил, — и выявляет проблемы с надёжностью, ведь модели, справившиеся один раз, часто ошибаются при повторной попытке.

Разбор примера

Задача

В retail-домене τ-bench симулированный пользователь пишет агенту: «Здравствуйте, хочу отменить заказ #W2611340 — я оформил его по ошибке». Согласно политике магазина (отменять можно только заказы в статусе 'pending', а причина должна быть допустимым значением), агент должен аутентифицировать пользователя, проверить заказ, подтвердить с пользователем и отменить заказ через вызовы инструментов.

Решение

# 1) Authenticate the user (policy: verify identity before any action)
find_user_id_by_email(email="mia.li.3818@example.com")
# 2) Look up the order and confirm status == "pending"
get_order_details(order_id="#W2611340")
# 3) After the user confirms, cancel with an allowed reason enum
cancel_pending_order(order_id="#W2611340", reason="ordered by mistake")

Разбор

Политика разрешает отменять только заказ в статусе 'pending' и ограничивает причину двумя значениями enum ('no longer needed' / 'ordered by mistake'), поэтому агент сначала аутентифицирует пользователя, проверяет статус, получает подтверждение и лишь затем делает записывающий вызов. τ-bench оценивает результат, сравнивая финальное состояние базы данных с эталонным целевым состоянием (заказ теперь 'cancelled'), и сообщает надёжность pass^k по серии повторных попыток.

По этому бенчмарку пока нет проверенных результатов.