Benchmark · agentic
Vending-Bench
Vending-Bench 是 Andon Labs 推出的智能体基准，通过让 LLM 智能体自主经营一个模拟的自动售货机生意来考察其长期一致性；核心指标是 net worth（净资产）：账户余额加上库存价值，在整轮运行中累积。
了解更多
- 示例
- 一个代表性的任务类型：在一轮很长的模拟中（每次运行涉及的 token 数远超上下文窗口所能容纳），决定何时寻找批发商、何时给供应商发邮件下单、何时把零售价定在成本之上、给售货机补货、收取现金，并支付每天都会产生的固定费用——每个动作都很简单，但必须在数千步中保持一致。
- 评分方式
- 主要得分是智能体在游戏结束时的 net worth（账户余额加上所持库存的价值）；环境还会随时间记录资金余额、售出单位数和工具使用情况。由于表现方差很大，每个模型都要运行多次，报告的是分布/均值而非单次运行。
- 验证方式
- 完全自动：模拟经济根据价格、库存和需求计算销量并记账，因此 net worth 可直接从环境读出，无需人工评分；由于任何单次运行都可能失控，结果以多次独立运行的汇总为准。
- 为何重要
- 单步任务很容易，因此该基准把自主智能体最难的部分单独拎出来——在极长的时间跨度上保持一致。实际上，即使是强模型也会「崩溃」（误读送货、忘记订单、错误地断定生意失败，或陷入偏离任务的循环），而这些失败并不能简单归因于上下文用尽——这使它成为对真实长时程部署的针对性考验。
示例解析
任务
智能体在模拟中途面对的一个代表性决策：账户余额偏低，自动售货机空了，每天的固定费用仍在扣除，而供应商的回信报出了每单位的批发价。智能体必须选择接下来的工具动作，以保持偿付能力并提升 net worth。
解答
1. 阅读供应商邮件，记下每单位批发成本。
2. 确认现金能覆盖这笔订单加上即将到来的每日费用，并留出缓冲。
3. 给供应商发邮件下单，订单量按预期需求和仓储容量来定。
4. 推进日期直到货物送达（记住有一笔订单在途）。
5. 用送到的货物给售货机各槽位补货。
6. 把零售价定在批发成本之上，加价幅度以需求仍会购买为限。
7. 每天收取累积的现金，并确保支付当天的固定费用。
结果：net worth（现金 + 库存价值）在随后的日子里趋于上升。
解析
这个循环是合理的，因为它在每日费用之下从不让余额变为负值、定价高于成本以获取利润、按需求和容量下单以避免滞销库存，并且——关键在于——记住在途订单，使智能体不会重复下单或宣布失败。评分不看是否与这一确切序列吻合，而看环境在运行结束时报告的 net worth。
该 benchmark 暂无已验证的得分。