Бенчмарк · agentic
Windows Agent Arena
Windows Agent Arena (WAA) — воспроизводимый бенчмарк, оценивающий мультимодальных ИИ-агентов на 154 реальных задачах, выполняемых в живой среде Windows 11; ключевая метрика — доля успешно выполненных задач (task success rate).
Подробнее
- Пример
- Тип задачи: управлять реальными настольными приложениями для достижения целевого состояния, используя только скриншоты и дерево доступности (accessibility tree), — например, изменить параметр в Windows Settings, отредактировать таблицу в LibreOffice Calc, установить расширение в VS Code или выполнить задачу веб-навигации в Chrome.
- Метрика
- Каждая задача содержит детерминированный скрипт вознаграждения, который в конце эпизода проверяет итоговое состояние виртуальной машины (файлы, значения реестра, вывод приложения) и возвращает оценку за задачу — обычно бинарный успех (1/0). Итоговый балл бенчмарка — средняя доля успеха по всем 154 задачам; полные прогоны распараллеливаются на виртуальных машинах Azure.
- Приёмка
- Результат засчитывается, только если встроенный валидатор задачи подтверждает целевое конечное состояние в реальной среде, а не по совпадению текста или журнала действий агента. У агента фиксированный бюджет действий/шагов; превышение бюджета или неверное состояние дают 0. Прогоны воспроизводимы, потому что образ виртуальной машины и конфигурации задач зафиксированы.
- Почему важно
- Проверяет, способны ли агенты реально управлять полноценной операционной системой — перемещаясь по графическим интерфейсам множества повседневных приложений, — а не просто отвечать на вопросы. Между нынешними агентами и людьми без помощи сохраняется большой разрыв, а распараллеленная на Azure инфраструктура делает масштабную и воспроизводимую оценку ОС-агентов быстрой.
Разбор примера
Задача
Представительный пример (домен Windows Settings): «Переключить цветовой режим приложений Windows на Dark». Агент получает скриншот и дерево доступности свежей виртуальной машины Windows 11 и должен выполнить действия в графическом интерфейсе (мышь и клавиатура); задаётся только цель, без целевого текста.
Решение
Шаги: 1) Открыть Settings (Win+I или Start, затем Settings). 2) Перейти в Personalization, затем Colors. 3) В разделе «Choose your mode» выбрать Dark. Итоговое состояние: тема приложений/системы — Dark (значение реестра HKCU\...\Themes\Personalize\AppsUseLightTheme = 0).
Разбор
Верно, потому что цель — изменение состояния, а последовательность устанавливает именно то значение, которое считывает валидатор. После эпизода скрипт вознаграждения запрашивает реестр виртуальной машины и возвращает success=1 только если AppsUseLightTheme равно тёмному значению (0), независимо от того, как агент этого достиг.
| Дата | Модель | Результат | Источник |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2 продвигает GUI-агента с помощью многошагового обучения с подкреплением |