Benchmark · agentic
Windows Agent Arena
Windows Agent Arena（WAA）是一个可复现的基准，在真实运行的 Windows 11 环境中通过 154 项真实任务评估多模态 AI 智能体；核心指标是任务成功率——智能体正确完成任务的比例。
了解更多
- 示例
- 一种任务类型：仅凭截图和无障碍树（accessibility tree）操作真实的桌面应用以达到目标状态——例如更改 Windows Settings 中的某项设置、在 LibreOffice Calc 中编辑电子表格、在 VS Code 中安装扩展，或在 Chrome 中完成一项浏览任务。
- 评分方式
- 每个任务都附带一个确定性的奖励脚本，在回合结束时检查虚拟机的最终状态（文件、注册表值、应用输出），并返回该任务的分数，通常为二元成功（1/0）。基准得分是全部 154 项任务的平均成功率；完整评测可在 Azure 虚拟机上并行运行。
- 验证方式
- 只有当任务内置的校验器在真实环境中确认达到了目标最终状态时，结果才算数，而不是靠匹配智能体的文本或动作日志。智能体有固定的动作/步数预算；超出预算或状态错误则计 0 分。由于虚拟机镜像和任务配置固定，评测可复现。
- 为何重要
- 它检验智能体能否真正操作一个完整、真实的操作系统——在众多日常应用的图形界面中导航——而不仅是回答问题。当前智能体与无辅助人类之间仍存在很大差距，而基于 Azure 并行化的框架让大规模、可复现的操作系统智能体评测变得快速。
示例解析
任务
代表性题目（Windows Settings 领域）：「将 Windows 应用的颜色模式切换为 Dark。」智能体获得一台全新 Windows 11 虚拟机的截图和无障碍树，必须发出图形界面操作（鼠标和键盘）来完成；只给出目标，没有目标文本。
解答
步骤：1）打开 Settings（Win+I，或 Start 然后 Settings）。2）进入 Personalization，然后 Colors。3）在「Choose your mode」下选择 Dark。最终状态：应用/系统主题为 Dark（注册表值 HKCU\...\Themes\Personalize\AppsUseLightTheme = 0）。
解析
之所以正确，是因为目标是状态更改，而该操作序列恰好设置了校验器读取的那个值。回合结束后，奖励脚本查询虚拟机注册表，只有当 AppsUseLightTheme 等于深色值（0）时才返回 success=1，与智能体如何做到无关。
| 日期 | 模型 | 得分 | 来源 |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2 通过多轮强化学习推进 GUI 代理 |