Benchmark · agentic
OSWorld
OSWorld 是一个基准测试，用于在真实桌面操作系统的任务上评估计算机使用智能体，这些任务涵盖日常应用（文件管理器、网页浏览器、办公套件）。它报告智能体成功完成任务的百分比。
了解更多
- 示例
- 一个任务可能要求智能体打开电子表格、修改某个数值或重新格式化数据并保存文件，或者在文件管理器中找到某个文件并更改系统设置——像人一样操作真实的图形界面（GUI）。
- 评分方式
- 指标是任务成功率（task success rate），以百分比表示。每个任务要么通过要么失败，最终得分是整个任务集中通过任务所占的比例。
- 验证方式
- 结果由基于执行的脚本自动检查，这些脚本检查机器的最终状态（例如，正确的文件、数值或设置现在是否存在），而不是比对文本或人工投票。
- 为何重要
- 它衡量 AI 智能体能否真正跨多个应用操作一台真实的计算机——这比回答问题或单一应用的任务是一项更难、更贴近现实的自主性测试。
示例解析
任务
Ubuntu 桌面上打开着一个 GNOME Terminal。在文件夹 ~/project 中，递归查找所有大于 10 MB 的 .log 文件并将其删除，其他文件保持不变。
解答
find ~/project -type f -name '*.log' -size +10M -delete解析
find 递归遍历 ~/project，匹配名为 *.log 且大于 10 MB 的普通文件，-delete 只删除这些文件而不影响其余文件。OSWorld 通过每个任务专属的检查脚本检查虚拟机（VM）最终的文件系统状态，仅当目标 logs 被删除且其他文件仍在时才给予 reward 1。