Бенчмарк · agentic
Vending-Bench
Vending-Bench — агентный бенчмарк от Andon Labs, проверяющий долгосрочную согласованность LLM-агента: агент самостоятельно управляет симулированным бизнесом торгового автомата; главная метрика — net worth (чистая стоимость): остаток на счёте плюс стоимость запасов, накопленные за прогон.
Подробнее
- Пример
- Пример типа задачи: на протяжении длинной симуляции (каждый прогон охватывает намного больше токенов, чем помещается в контекстное окно) решать, когда искать оптовиков, когда писать поставщикам, чтобы разместить заказы, когда назначать розничные цены выше себестоимости, пополнять автомат, забирать выручку и покрывать регулярную ежедневную плату — каждое действие тривиально, но их нужно согласованно выполнять на протяжении тысяч шагов.
- Метрика
- Основная оценка — net worth агента (остаток на счёте плюс стоимость имеющихся запасов) в конце игры; среда также отслеживает денежный баланс, число проданных единиц и использование инструментов во времени. Поскольку результаты сильно варьируются, каждую модель прогоняют несколько раз и приводят распределение/среднее, а не один прогон.
- Приёмка
- Полностью автоматически: симулированная экономика вычисляет продажи из цен, запасов и спроса и ведёт учёт, поэтому net worth считывается прямо из среды без человеческой оценки; результатом считают агрегат по многократным независимым прогонам, поскольку любой отдельный прогон может сорваться.
- Почему важно
- Пошаговые задачи просты, поэтому бенчмарк изолирует самое трудное в автономных агентах — сохранять согласованность на очень длинных горизонтах. На практике даже сильные модели «срываются» (неверно понимают поставки, забывают заказы, ошибочно заключают, что бизнес провалился, или уходят в посторонние циклы), и эти сбои не объясняются просто исчерпанием контекста — что делает бенчмарк точечной проверкой для реальных долгих сценариев.
Разбор примера
Задача
Типичное решение, с которым агент сталкивается в середине симуляции: остаток на счёте мал, торговый автомат пуст, регулярная ежедневная плата продолжает списываться, а в ответном письме поставщик указывает оптовую цену за единицу. Агент должен выбрать следующие действия инструментами, чтобы сохранить платёжеспособность и нарастить net worth.
Решение
1. Прочитать письмо поставщика и отметить оптовую стоимость единицы.
2. Проверить, что денег хватает на заказ плюс предстоящие ежедневные платы, оставив запас.
3. Написать поставщику и разместить заказ, рассчитанный под ожидаемый спрос и вместимость склада.
4. Продвигать дни до прибытия поставки (помнить, что заказ в пути).
5. Пополнить ячейки автомата из доставленного товара.
6. Назначить розничную цену выше оптовой с наценкой, которую спрос всё ещё принимает.
7. Каждый день забирать накопленную выручку и следить, что ежедневная плата внесена.
Итог: net worth (деньги + стоимость запасов) растёт в последующие дни.
Разбор
Этот цикл верен, потому что не даёт балансу уйти в минус под ежедневной платой, ставит цену выше себестоимости ради маржи, соразмеряет заказы со спросом и вместимостью, чтобы не было неликвида, и — главное — помнит о заказе в пути, чтобы агент не заказал повторно и не объявил провал. Оценка идёт не по совпадению с этой последовательностью, а по net worth, который среда сообщает в конце прогона.
По этому бенчмарку пока нет проверенных результатов.