Исследователи выпустили Terminal-Bench 2.0, бенчмарк, предназначенный для оценки ИИ-агентов на сложных, реалистичных задачах командной строки, которые текущие метрики не способны адекватно отразить.
Бенчмарк состоит из 89 тщательно подобранных задач в окружении компьютерного терминала, каждая из которых имеет уникальные настройки, решения, написанные человеком, и комплексные тесты проверки. Результаты оценки показывают, что передовые модели и агенты набирают менее 65% баллов на этих задачах. Авторы провели анализ ошибок, чтобы выявить конкретные области для улучшения возможностей моделей и агентов.
Датасет и инструмент оценки опубликованы, чтобы помочь разработчикам и исследователям в продвижении автономного выполнения задач в терминальных окружениях.