ベンチマーク · agentic
GAIA
GAIA（General AI Assistant）は、tools の利用・ウェブ閲覧・複数の情報源にまたがる推論を必要とする現実的な多段階の質問に AI アシスタントが答えられるかを測定します。スコアは正しく答えられた質問の割合（パーセンテージ）です。
詳しく見る
- 例
- 典型的な問題は、一見日常的だが答えが複数の段階に隠れている質問です。たとえば「リンクされた文書内の事実を調べ、それをあるウェブサイトのデータと組み合わせて一つの短い答えを導く」といったもので、一度の検索ではなくブラウジングと tools の利用が求められます。
- 採点方法
- 指標は accuracy（正確率）で、最終的な答えが期待される答えと一致した質問の割合です。各質問には曖昧さのない唯一の正解があるため、回答は正解か不正解のいずれかです。
- 検証方法
- 回答は参照解との厳密（準厳密）な文字列一致によって自動的に検証され、テストセットの結果は正解が非公開に保たれた公開 leaderboard に提出されます。
- 重要な理由
- 人間には簡単だが AI には難しいタスクで、推論・ウェブ閲覧・tools を組み合わせる実用的なアシスタント能力を測るため、自律型 agent の共通のものさしとなっています。
解説付きの例
課題
現在の英語版 Wikipedia を使って、バンド Radiohead が 1993 年から 2007 年まで（両端を含む）にリリースしたスタジオアルバムは何枚ですか？最終回答として整数を 1 つだけ答えてください。
解答
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
解説
GAIA の問題には、ウェブ閲覧と軽い集計によって得られる唯一の明確な正解があります——ここでは日付範囲内のディスコグラフィの項目を数えること（コンピレーションやライブアルバムは除外）。採点は quasi-exact match で行われ、正規化した最終回答の文字列が参照解「7」と完全に一致する必要があります。