Бенчмарк · agentic
WebArena
WebArena проверяет, может ли автономный web-агент выполнять реальные многошаговые задачи на наборе реалистичных, развёрнутых локально сайтов — интернет-магазин, форум и система управления контентом (CMS). Метрика — task success rate: процент задач, которые агент выполнил правильно.
Подробнее
- Пример
- Типичная задача: «найти самый дешёвый товар в категории и добавить две штуки в корзину» — агент должен достичь цели, перемещаясь по страницам, кликая и вводя текст на живом сайте.
- Метрика
- Метрика — task success rate: число выполненных задач, делённое на общее число задач, в процентах.
- Приёмка
- К каждой задаче прилагается программная проверка, которая автоматически подтверждает результат — сравнивая с ожидаемым ответом или проверяя итоговое состояние сайта, — поэтому оценка машинная, а не человеческая.
- Почему важно
- Он показывает, могут ли LLM-агенты реально управлять настоящими сайтами от начала до конца — более сложная и практичная проверка, чем одношаговые или синтетические web-задачи, — и потому служит ключевым ориентиром для агентной web-автоматизации.
Разбор примера
Задача
Вы — автономный веб-агент в самостоятельно развёрнутой среде GitLab из WebArena: вы наблюдаете дерево доступности (accessibility tree) страницы и на каждом шаге выдаёте одно действие из пространства действий WebArena (например,
click [id], type [id] [text] [enter], goto [url], stop [answer]). Задача: создать новый issue с заголовком Bug: login button unresponsive в репозитории a11yproject/a11yproject.com и назначить его на себя.Решение
goto [http://gitlab.webarena/a11yproject/a11yproject.com/-/issues/new]
type [1023] [Bug: login button unresponsive] [0]
click [1187] # open the Assignee dropdown
click [1203] # choose "Assign to me"
click [1250] # click the "Create issue" button
stop [N/A]Разбор
Траектория открывает форму нового issue, вводит точный заголовок, назначает задачу на себя через меню исполнителя и отправляет форму;
stop [N/A] завершает эпизод, потому что задача меняет состояние, а не возвращает значение. Оценщик program_html в WebArena перезагружает созданный issue и функционально проверяет DOM — заголовок совпадает со строкой, а исполнитель равен вошедшему пользователю, — поэтому неточные совпадения получают 0.