ベンチマーク · agentic
VisualWebArena
VisualWebArena は、マルチモーダル(視覚対応)の自律エージェントが、実際に自己ホストされたウェブサイト(Classifieds、Shopping、Reddit)上で、現実的かつ視覚に根ざしたタスクをどれだけうまく遂行できるかを測定します。性能は、その 910 タスク全体でのタスク成功率(success rate)として報告されます。
詳しく見る
- 例
- 画像を条件とするブラウジングタスク:製品の参照画像が与えられ、エージェントはクラシファイドまたはショッピングのサイトを操作して、指定された制約(例:最安値、特定の状態)の下で画像の品物に一致する掲載を見つけ、それを開くか、求められた情報を報告する必要があります。
- 採点方法
- 指標は成功率です。各タスクはプログラム的な報酬関数によって 0 または 1 で採点され、この関数はエージェントの最終回答またはサイトの最終状態を、あらかじめ定義された目標と比較します(回答は完全一致・必須包含・あいまいなテキスト一致、ナビゲーションや取引の目標は URL/状態のチェック)。スコアは 1 を得たタスクの割合です。
- 検証方法
- 評価は実行ベースです:エージェントは隔離された自己ホストのウェブアプリ上で実際のブラウザを操作し(再現性のためタスク間でリセット)、報酬関数が結果をプログラム的に検査します(人手による判定はありません)。自動チェックに合格した場合にのみ、そのタスクは成功として数えられます。
- 重要な理由
- 実際のウェブサイトは視覚的であり、テキストのみの観測(アクセシビリティツリーや HTML)では画像に根ざした情報を取りこぼします。VisualWebArena は、エージェントが視覚コンテンツを知覚しつつ同時に行動できるかを検証し、人間とエージェントの大きな差を明らかにするとともに、Set-of-Marks の視覚プロンプティングのようなマルチモーダルエージェント技術を促進します。
解説付きの例
課題
環境:自己ホストの Classifieds サイト。指示(オフィスチェアの参照画像を添付):「この画像に写っている品物を販売している掲載に移動し、その希望価格を教えてください」。
解答
主な手順:(1) 参照画像を見て、その椅子の特徴的な視覚要素を把握する;(2) Classifieds サイトの家具カテゴリを閲覧・検索する;(3) 掲載のサムネイルを参照画像と照合し、正しい掲載を開く;(4) その掲載ページで希望価格を読み取る;(5) stop アクションで送信する、例:
stop [<price>]。最終回答:一致した掲載に表示された正確な価格(例示、例:stop [$45])。解説
これが正しいのは、このタスクが参照画像を唯一の一致する掲載に結び付け(テキストのみのビューでは不可能な視覚的照合)、その上で求められた正確な値を抽出することでしか解けないためです。採点:報酬関数は送信された回答を目標価格と文字列/あいまい一致で比較し、二値の 0/1 を出力して全体の成功率に反映します。
このベンチマークの検証済みスコアはまだありません。