Benchmark · agentic
VisualWebArena
VisualWebArena 衡量多模态(具备视觉能力的)自主智能体在真实的自托管网站(Classifieds、Shopping、Reddit)上完成真实的、以视觉为基础的任务的能力;性能以其 910 个任务上的整体任务成功率(success rate)报告。
了解更多
- 示例
- 一种以图像为条件的浏览任务:给定某商品的参考图像,智能体必须在分类信息网站或购物网站中浏览,找到在给定约束下(例如最便宜、特定成色)与图中物品相匹配的条目,并将其打开或报告所要求的某项细节。
- 评分方式
- 指标为成功率。每个任务由程序化的奖励函数评为 0 或 1,该函数将智能体的最终答案或网站的最终状态与预定义目标进行比较(答案采用精确匹配、必含匹配或模糊文本匹配;导航或事务目标采用 URL/状态检查)。得分为得 1 的任务所占比例。
- 验证方式
- 评估基于执行:智能体在隔离的自托管 Web 应用上操作真实浏览器(任务之间重置以保证可复现性),奖励函数以程序化方式检查结果,无需人工评判。只有自动检查通过,任务才计为成功。
- 为何重要
- 真实网站是视觉化的,仅凭文本的观测(无障碍树或 HTML)会遗漏以图像为基础的信息;VisualWebArena 检验智能体能否同时感知视觉内容并采取行动,揭示了人类与智能体之间的巨大差距,并推动了诸如 Set-of-Marks 视觉提示等多模态智能体技术。
示例解析
任务
环境:自托管的 Classifieds 网站。意图(附带一张办公椅的参考图像):「进入出售此图像中所示物品的条目,并告诉我它的要价。」
解答
关键步骤:(1) 观察参考图像并记下椅子的独特视觉特征;(2) 在 Classifieds 网站的家具类别中浏览/搜索;(3) 将条目缩略图与参考图像进行比对,打开正确的条目;(4) 在该条目页面读取要价;(5) 用 stop 动作提交,例如
stop [<price>]。最终答案:匹配条目上所示的确切价格(示意,例如 stop [$45])。解析
之所以正确,是因为该任务只能通过将参考图像对应到唯一匹配的条目(仅凭文本视图无法完成的视觉匹配),再提取所要求的确切数值来解决。评分:奖励函数通过字符串/模糊匹配将提交的答案与目标价格比较,得出二元的 0/1,并计入整体成功率。
该 benchmark 暂无已验证的得分。