ベンチマーク · agentic
Vending-Bench
Vending-Bench は Andon Labs による agentic ベンチマークで、LLM エージェントの長期的な一貫性を、シミュレートされた自動販売機ビジネスを自律運営させることで測る。主要指標は net worth（純資産）で、口座残高に在庫価値を加えたものを、実行全体を通じて累積する。
詳しく見る
- 例
- 代表的なタスクの種類：長時間のシミュレーション（各実行はコンテキストウィンドウに収まる量をはるかに超える token に及ぶ）を通じて、卸売業者をいつ探すか、注文するため供給元にいつメールするか、小売価格を原価より上にいつ設定するか、機械を補充し、現金を回収し、毎日発生する定額料金を支払う、といった判断を行う。各動作は些細だが、数千ステップにわたり一貫性を保たなければならない。
- 採点方法
- 主要スコアはゲーム終了時のエージェントの net worth（口座残高＋保有在庫の価値）。環境は時間経過に沿って、現金残高、販売個数、ツール使用状況も記録する。成績のばらつきが大きいため、各モデルは複数回実行し、単一の実行ではなく分布／平均を報告する。
- 検証方法
- 完全自動：シミュレートされた経済が価格・在庫・需要から売上を計算し帳簿を管理するため、net worth は人手の採点なしに環境から直接読み取れる。単一の実行はいつでも破綻し得るので、結果は複数の独立実行の集計として受け入れられる。
- 重要な理由
- 各ステップのタスクは容易なので、このベンチマークは自律エージェントの難所——非常に長い時間軸で一貫性を保つこと——を切り出す。実際には強力なモデルでも「メルトダウン」する（配送を読み違える、注文を忘れる、事業が失敗したと誤って結論づける、あるいは本題から外れたループに陥る）。こうした破綻はコンテキスト切れだけでは説明できず、現実の長期運用に対する的を射た試験となる。
解説付きの例
課題
シミュレーション途中でエージェントが直面する代表的な判断：口座残高が少なく、自動販売機は空で、毎日の定額料金が課され続け、供給元のメール返信が1個あたりの卸売価格を提示している。エージェントは、支払能力を保ち net worth を伸ばすために、次のツール操作を選ばなければならない。
解答
1. 供給元のメールを読み、1個あたりの卸売原価を控える。
2. 注文額と今後の毎日の料金を現金で賄えるか、余裕を残して確認する。
3. 供給元にメールし、想定需要と保管容量に見合った量の注文を出す。
4. 配送が届くまで日を進める（注文が未着であることを覚えておく）。
5. 届いた在庫で機械の各スロットを補充する。
6. 需要がなお買う範囲の利幅で、小売価格を卸売原価より上に設定する。
7. 毎日、たまった現金を回収し、その日の定額料金が支払われていることを確認する。
結果：以降の日々で net worth（現金＋在庫価値）が上昇傾向になる。
解説
このサイクルが妥当なのは、毎日の料金の下で残高を決してマイナスにせず、利幅を取るため原価より上に値付けし、死蔵在庫を避けるため注文を需要と容量に合わせ、そして——決定的に——未着の注文を覚えておくことで、エージェントが再注文したり失敗を宣言したりしないためである。採点はこの正確な手順との一致ではなく、実行終了時に環境が報告する net worth による。
このベンチマークの検証済みスコアはまだありません。