Benchmark · agentic
GAIA
GAIA（General AI Assistant）测试 AI 助手能否回答需要使用 tools、浏览网页并跨多个来源进行推理的现实世界多步骤问题。得分是回答正确的问题所占的百分比。
了解更多
- 示例
- 一个典型题目是看似日常、但答案要经过多个步骤才能得出的问题——例如「在一个链接文档中查找某个事实，再将其与某网站的数据结合，从而得出一个简短答案」——这需要浏览网页和使用 tools，而不是一次查找。
- 评分方式
- 指标是 accuracy（准确率）：最终答案与预期答案一致的问题所占比例。每个问题都有一个明确无歧义的标准答案，因此回答非对即错。
- 验证方式
- 答案由系统自动通过与参考答案的精确（准精确）字符串匹配来核验，测试集的结果提交到一个公开的 leaderboard，而正确答案保持私有。
- 为何重要
- 它衡量助手的实用能力——在对人类容易但对 AI 困难的任务上结合推理、网页浏览和 tools——因此成为衡量自主 agent 的常用标尺。
示例解析
任务
使用当前的英文维基百科（Wikipedia），Radiohead 乐队在 1993 年至 2007 年（含）之间发行了多少张录音室专辑？请以单个整数作为最终答案。
解答
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
解析
GAIA 的题目都有唯一明确的标准答案，通过网页浏览加上轻量聚合得出——这里是统计某个日期区间内的唱片目录条目（不含合辑和现场专辑）。评分采用 quasi-exact match：归一化后的最终答案字符串必须与参考答案「7」完全一致。