ベンチマーク · agentic
OSWorld
OSWorld は、コンピュータ操作エージェントを、日常的なアプリ（ファイルマネージャー、Web ブラウザ、オフィススイート）にまたがる実際のデスクトップ OS のタスクで評価するベンチマークです。エージェントが成功裏に完了したタスクの割合（％）を報告します。
詳しく見る
- 例
- タスクでは、エージェントに表計算を開いて値を編集したりデータを整形し直してファイルを保存させたり、ファイルマネージャーでファイルを探してシステム設定を変更させたりします——人間と同じように実際のグラフィカルインターフェース（GUI）を操作します。
- 採点方法
- 指標はタスク成功率（task success rate）で、パーセントで表されます。各タスクは合格か不合格のいずれかで、スコアはタスクセット全体で合格したタスクの割合です。
- 検証方法
- 結果は、テキスト照合や人間の投票ではなく、マシンの最終状態を検査する実行ベースのスクリプト（例：正しいファイル・値・設定が存在するか）によって自動的に確認されます。
- 重要な理由
- これは、AI エージェントが多数のアプリにまたがって実際のコンピュータを本当に操作できるかを測るもので、質問への回答や単一アプリのタスクよりもはるかに難しく現実的な自律性のテストです。
解説付きの例
課題
Ubuntu のデスクトップで GNOME Terminal が開いています。フォルダ ~/project 内で、10 MB を超えるすべての .log ファイルを再帰的に探して削除し、それ以外のファイルはそのまま残してください。
解答
find ~/project -type f -name '*.log' -size +10M -delete解説
find は ~/project を再帰的にたどり、10 MB を超える *.log という名前の通常ファイルを選び、-delete がそれらだけを削除して他は残します。OSWorld はタスクごとの専用チェッカーで仮想マシン（VM）の最終的なファイルシステム状態を検査し、対象の logs が消え他のファイルが残っている場合にのみ reward 1 を与えます。