ベンチマーク · agentic

AgentBench

0 結果 0 モデル

AgentBench は、コード・ゲーム・ウェブにまたがる 8 つの異なる環境で LLM を対話型エージェントとして評価し、多ターンの意思決定を測定する。各環境が固有のスコアを出し、それらを重み付けした単一の Overall Score にまとめる。

詳しく見る

例: 「オペレーティングシステム」環境のタスク：エージェントに自然言語の目標（例：条件に合うファイル数を数える、ファイルの権限を変更する）が与えられ、ラウンドごとに bash コマンドを入力して各出力を読み、最終回答を提出するか、shell を要求された状態に残す。
採点方法: 各環境は独自の指標を使う——成功率（OS、DB、House-Holding）、F1（ナレッジグラフ）、平均報酬（Web Shopping）、ステップ／要素精度（ウェブ閲覧）、ゲーム進行度／報酬（カードゲーム、パズル）。主要な Overall Score は 8 環境のスコアの加重平均で、難易度を均衡させ、簡単なタスク一つが支配しないよう重みが選ばれている。
検証方法: 各タスクは実行可能な環境で動き、自動かつ決定論的なチェッカーで判定される：エージェントの多ターンの軌跡はプログラムで検証される（例：shell チェックスクリプト、データベースの最終状態、WebShop の報酬、正解アクションとの一致）。人間の審査はなく、対話には最大ラウンド数があり、上限超過や不正なアクションは失敗とみなされる。
重要な理由: LLM を単発の回答者ではなくエージェントとして評価した最初期の標準ベンチマークの一つで、長期的な推論・ツール利用・エラー回復を試す。実際のエージェント的タスクにおいて、トップの商用 API モデルとオープンソースモデルの大きな差を明らかにした。

解説付きの例

課題

「オペレーティングシステム」環境。Ubuntu の bash shell で、エージェントに次のように指示する：「このシステムでログイン shell が /bin/bash のユーザーアカウントはいくつありますか。数を答えてください。」回答前に複数ラウンドにわたっていくつかの shell コマンドを実行できる。

解答

grep -c ':/bin/bash$' /etc/passwd

解説

/etc/passwd の各行のコロン区切り 7 番目のフィールドがログイン shell なので、:/bin/bash で終わる行を数えると bash ログインのアカウント数が得られる。エージェントはコマンド出力からその数を読み取り、環境の answer(N) アクションで返す。採点：OS のチェッカーが検証スクリプトを実行し、提出を二値の成功／失敗で採点する。

このベンチマークの検証済みスコアはまだありません。