Бенчмарк · agentic

VisualWebArena

0 результатов 0 моделей

VisualWebArena измеряет, насколько хорошо мультимодальные (способные к зрению) автономные агенты выполняют реалистичные, визуально обоснованные задачи на реальных самостоятельно размещённых сайтах (Classifieds, Shopping, Reddit); результат выражается общей долей успешно выполненных задач (success rate) по всем 910 задачам.

Подробнее

Пример: Задача просмотра с опорой на изображение: по эталонному изображению товара агент должен пройти по сайту объявлений или магазину, найти объявление, соответствующее изображённому предмету при заданном ограничении (например, самое дешёвое, определённое состояние), и либо открыть его, либо сообщить запрошенную деталь.
Метрика: Метрика — доля успешных задач (success rate). Каждая задача оценивается в 0 или 1 программной функцией вознаграждения, которая сравнивает итоговый ответ агента или конечное состояние сайта с заранее заданной целью (точное совпадение, обязательное включение или нечёткое совпадение текста для ответов; проверки URL/состояния для навигационных или транзакционных целей). Оценка — доля задач с результатом 1.
Приёмка: Оценивание основано на исполнении: агент управляет реальным браузером на изолированных самостоятельно размещённых веб-приложениях (сбрасываемых между задачами для воспроизводимости), а функция вознаграждения программно проверяет исход — без участия человека. Задача засчитывается, только если автоматическая проверка пройдена.
Почему важно: Реальные сайты визуальны, а наблюдения только по тексту (дерево доступности или HTML) упускают информацию, привязанную к изображениям; VisualWebArena проверяет, способны ли агенты одновременно воспринимать визуальный контент и действовать, выявляя большой разрыв между человеком и агентом и стимулируя мультимодальные приёмы вроде визуального промптинга Set-of-Marks.

Разбор примера

Задача

Среда: самостоятельно размещённый сайт Classifieds. Задание (с приложенным эталонным изображением офисного кресла): «Перейдите к объявлению, в котором продаётся показанный на этом изображении предмет, и назовите запрашиваемую цену».

Решение

Ключевые шаги: (1) рассмотреть эталонное изображение и отметить отличительные визуальные признаки кресла; (2) просмотреть/искать в категории мебели на сайте Classifieds; (3) сопоставить миниатюры объявлений с эталонным изображением и открыть нужное объявление; (4) прочитать запрашиваемую цену на странице этого объявления; (5) отправить её действием stop, например stop [<price>]. Итоговый ответ: точная цена, указанная в найденном объявлении (для примера, например stop [$45]).

Разбор

Это верно, потому что задачу можно решить только привязав эталонное изображение к единственному совпадающему объявлению (визуальное сопоставление, недоступное представлению только по тексту), а затем извлечь точное запрошенное значение. Оценивание: функция вознаграждения сравнивает отправленный ответ с целевой ценой по строковому/нечёткому совпадению, давая бинарные 0/1, которые входят в итоговую долю успеха.

По этому бенчмарку пока нет проверенных результатов.