ベンチマーク · agentic
Windows Agent Arena
Windows Agent Arena（WAA）は、実際に稼働する Windows 11 環境内で 154 個の実タスクにより、マルチモーダル AI エージェントを評価する再現可能なベンチマークです。主要指標はタスク成功率——エージェントが正しく完了したタスクの割合です。
詳しく見る
- 例
- タスクの一例：スクリーンショットとアクセシビリティツリー（accessibility tree）だけを使って実際のデスクトップアプリを操作し、目標状態に到達する——たとえば、Windows Settings の項目を変更する、LibreOffice Calc で表計算を編集する、VS Code で拡張機能をインストールする、または Chrome で閲覧タスクを完了する。
- 採点方法
- 各タスクには決定論的な報酬スクリプトが付属し、エピソード終了時に仮想マシンの最終状態（ファイル、レジストリ値、アプリの出力）を検査して、通常は二値の成功（1/0）というタスクごとのスコアを返します。ベンチマークのスコアは全 154 タスクの平均成功率で、フル実行は Azure の仮想マシン上で並列化できます。
- 検証方法
- 結果は、タスクに組み込まれたバリデータが実環境で目標の最終状態を確認した場合にのみカウントされ、エージェントのテキストや操作ログとの一致では判定されません。エージェントには固定の操作／ステップ予算があり、それを超過するか状態が誤っていれば 0 点です。仮想マシンのイメージとタスク構成が固定されているため、実行は再現可能です。
- 重要な理由
- エージェントが単に質問に答えるのではなく、多数の日常アプリのグラフィカルインターフェイスを操作しながら、完全で実在するオペレーティングシステムを本当に操作できるかを検証します。現在のエージェントと補助なしの人間との間には大きな差があり、Azure で並列化された基盤により、大規模で再現可能な OS エージェント評価が高速になります。
解説付きの例
課題
代表的な項目（Windows Settings 領域）：「Windows アプリのカラーモードを Dark に切り替える。」エージェントは新規の Windows 11 仮想マシンのスクリーンショットとアクセシビリティツリーを受け取り、達成するためにグラフィカルインターフェイスの操作（マウスとキーボード）を発行しなければなりません。与えられるのは目標のみで、目標テキストはありません。
解答
手順：1）Settings を開く（Win+I、または Start から Settings）。2）Personalization、次に Colors へ進む。3）「Choose your mode」で Dark を選択する。最終状態：アプリ／システムのテーマが Dark（レジストリ値 HKCU\...\Themes\Personalize\AppsUseLightTheme = 0）。
解説
目標が状態変更であり、この手順がバリデータの読み取る値をまさに設定するため、正しいと言えます。エピソード後、報酬スクリプトは仮想マシンのレジストリを照会し、AppsUseLightTheme がダーク値（0）に等しい場合にのみ success=1 を返します。エージェントがどのように達成したかは問いません。
| 日付 | モデル | スコア | ソース |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2がマルチターン強化学習でGUIエージェントを進展させる |