ベンチマーク · agentic
BrowseComp
BrowseComp は、Web を閲覧する AI エージェント向けの OpenAI のベンチマークで、インターネット上に散らばった見つけにくい事実を追跡できるかを検証します。結果は正解した問題の割合（パーセンテージ）で示されます。
詳しく見る
- 例
- 典型的な問題では、短い事実的な答え（名前・日付・数値など）が Web の奥深くに埋もれており、それを見つけるには多数のページを横断する粘り強い多段階の検索が必要になります。
- 採点方法
- 指標は正解率（accuracy）で、エージェントの答えが唯一の既知の正解と一致した問題の割合です。
- 検証方法
- 回答はあらかじめ定められた正解と一致した場合に受理されます（完全一致方式）。問題は、答えを見つけるのは難しいが与えられれば検証は容易になるように作られています。
- 重要な理由
- 通常のチャットボットにはない能力——多段階にわたる粘り強く深い Web リサーチ——を測るため、強力なモデルにとってもエージェント的ブラウジングの手強いテストであり続けます。
解説付きの例
課題
BrowseComp の問題：「2010年から2015年の間に公開された長編映画で、(1) アカデミー賞作品賞を受賞し、(2) ある一つの秘密救出作戦を描き、(3) 主演を務めた本人が監督し、(4) クライマックスがテヘランの空港で展開するものを挙げよ。映画のタイトルのみを答えよ。」
解答
制約は一本の映画に収束する——2010〜2015年のアカデミー賞作品賞受賞作で、主演自身が監督した秘密救出ドラマであり、クライマックスがテヘランの空港で展開する作品。最終回答：Argo (2012)、監督・主演は Ben Affleck。
解説
各手がかりが候補を絞り込む——2010〜2015年の作品賞受賞作、次に主演自身が監督した救出ドラマ、最後にテヘランの空港でクライマックスを迎える一作——残るのは Argo だけで、Ben Affleck が監督と主演を兼ねている。BrowseComp は短い自由記述の回答を参照解答と完全一致またはモデル判定で照合するため、「Argo」は正解と判定される。