ベンチマーク · agentic
Android World
AndroidWorld は、実機相当の Android デバイスを操作する自律エージェント向けのベンチマーク兼ライブエミュレータ環境です（Google、2024年）。20 個の実アプリにまたがる手作りの 116 タスクを備え、指標はタスク成功率（success rate）です。
詳しく見る
- 例
- エージェントは自然言語の目標を与えられ、実際のアプリを操作して達成する必要があります。たとえばカレンダーアプリで、ライブ UI をタップ・入力・スクロールしながら、指定されたタイトル・日付・時刻のイベントを作成します。
- 採点方法
- 各タスクは二値報酬を与えます。最終的なデバイス状態がタスクの成功条件を満たせば 1、そうでなければ 0 です。スコアは成功率、すなわち解けたタスクの割合で、タスク集合全体で平均します（タスクはランダムな値でパラメータ化されるため、実行ごとに異なります）。
- 検証方法
- 成功可否は、実行後にデバイス上のシステム/アプリの状態をプログラムで検査して判定します（例：アプリのデータベース・ファイル・設定への問い合わせ）。行動の軌跡を照合したり LLM 審判を使ったりはせず、これにより報酬は永続的かつ再現可能になります。
- 重要な理由
- 検証可能な報酬を伴う、現実的でオープンエンドなモバイルデバイス操作でエージェントを評価します。ランダムなパラメータが丸暗記を防ぎ、実アプリと状態ベースの採点により、マルチモーダルなコンピュータ操作エージェント向けの永続的で再現可能なテスト環境となります。
解説付きの例
課題
タスク（ContactsAddContact 系）：「Grace Taylor の新しい連絡先を作成してください。電話番号は 555-123-4567 です。」エージェントはアクセシビリティツリーとスクリーンショットを通じてライブの「連絡先」アプリを操作します。
解答
「連絡先」アプリを開く → 「連絡先を追加」をタップ → 名前 Grace Taylor を入力 → 番号 555-123-4567 を入力 → 「保存」をタップ。最終状態：デバイスの連絡先ストアに、名前 Grace Taylor・番号 555-123-4567 の連絡先が存在する。
解説
正しい理由は、タスクの成功チェッカーがデバイスの連絡先を問い合わせ、目標どおりの名前と番号を持つ連絡先が存在することを確認するからです。採点は状態の二値チェック（報酬 1/0）であり、エージェントがどう辿り着いたかには依存しません。
このベンチマークの検証済みスコアはまだありません。