Бенчмарк · agentic

AgentBench

0 результатов 0 моделей

AgentBench оценивает LLM как интерактивных агентов в 8 различных средах (задачи на код, игры и веб), измеряя принятие решений в многошаговом диалоге; каждая среда даёт свой показатель, а затем они сводятся в единый взвешенный Overall Score.

Подробнее

Пример: Задача среды «Операционная система»: агенту дают цель на естественном языке (например, посчитать файлы по условию или изменить права доступа к файлу), и он раунд за раундом вводит команды bash, читает вывод каждой из них, а затем отправляет итоговый ответ или оставляет оболочку в нужном состоянии.
Метрика: У каждой среды свой показатель: доля успешных прохождений (OS, DB, House-Holding), F1 (граф знаний), средняя награда (Web Shopping), точность шага/элемента (веб-браузинг) или прогресс/награда в игре (карточная игра, головоломки). Главный Overall Score — это взвешенное среднее восьми показателей сред, где веса подобраны так, чтобы уравнять сложность и ни одна лёгкая задача не доминировала.
Приёмка: Каждая задача выполняется в исполняемой среде с автоматической детерминированной проверкой: многошаговая траектория агента верифицируется программно (например, скрипт проверки оболочки, итоговое состояние базы данных, награда WebShop или совпадение с эталонными действиями). Людей-судей нет; число раундов ограничено, а превышение лимита или недопустимое действие считаются провалом.
Почему важно: Это один из первых стандартизированных бенчмарков, проверяющих LLM именно как агентов, а не как модели для однократных ответов: он задействует долгосрочное рассуждение, использование инструментов и восстановление после ошибок и выявил большой разрыв между ведущими коммерческими API-моделями и открытыми моделями на реальных агентных задачах.

Разбор примера

Задача

Среда «Операционная система». В bash-оболочке Ubuntu агенту говорят: «Сколько учётных записей в этой системе используют /bin/bash в качестве командной оболочки для входа? Назовите число». Прежде чем ответить, он может выполнить несколько команд оболочки за несколько раундов.

Решение

grep -c ':/bin/bash$' /etc/passwd

Разбор

Седьмое поле строки /etc/passwd (через двоеточие) — это оболочка входа, поэтому подсчёт строк, оканчивающихся на :/bin/bash, даёт число учётных записей с bash; агент считывает это число из вывода команды и возвращает его через действие среды answer(N). Оценивание: проверщик OS запускает верификационный скрипт и засчитывает ответ как бинарный успех/провал.

По этому бенчмарку пока нет проверенных результатов.