벤치마크 · agentic
Vending-Bench
Vending-Bench는 Andon Labs가 만든 에이전트형 벤치마크로, LLM 에이전트가 시뮬레이션된 자판기 사업을 자율적으로 운영하게 하여 장기적 일관성을 측정한다. 핵심 지표는 net worth(순자산)로, 계좌 잔액에 재고 가치를 더한 값을 실행 전체에 걸쳐 누적한다.
자세히 보기
- 예시
- 대표적인 과제 유형: 긴 시뮬레이션(각 실행은 컨텍스트 윈도우에 담기는 양보다 훨씬 많은 token에 걸침) 동안, 언제 도매상을 찾을지, 주문을 넣기 위해 공급업체에 언제 이메일을 보낼지, 소매가를 원가 위로 언제 설정할지, 기계를 보충하고, 현금을 수거하고, 매일 발생하는 정액 요금을 내는 일을 결정한다. 각 행동은 사소하지만 수천 단계에 걸쳐 일관성을 유지해야 한다.
- 채점 방식
- 주요 점수는 게임 종료 시 에이전트의 net worth(계좌 잔액 + 보유 재고 가치)이다. 환경은 시간에 따라 현금 잔액, 판매 수량, 도구 사용도 함께 기록한다. 성능 편차가 크기 때문에 각 모델을 여러 번 실행하고, 단일 실행이 아니라 분포/평균을 보고한다.
- 검증 방식
- 완전 자동: 시뮬레이션된 경제가 가격·재고·수요로부터 판매를 계산하고 장부를 관리하므로 net worth는 사람의 채점 없이 환경에서 직접 읽어낸다. 단일 실행은 언제든 탈선할 수 있으므로 결과는 여러 독립 실행의 집계로 받아들인다.
- 왜 중요한가
- 단계별 과제는 쉬우므로 이 벤치마크는 자율 에이전트의 어려운 부분—매우 긴 지평에서 일관성을 유지하는 것—을 분리해 낸다. 실제로는 강력한 모델도 「붕괴(meltdown)」한다(배송을 오해하고, 주문을 잊고, 사업이 실패했다고 잘못 결론짓고, 본론에서 벗어난 루프에 빠짐). 이런 붕괴는 컨텍스트 소진만으로는 설명되지 않아, 실제 장기 운영에 대한 정곡을 찌르는 시험이 된다.
예제 풀이
문제
시뮬레이션 도중 에이전트가 마주하는 대표적 결정: 계좌 잔액이 적고, 자판기는 비었고, 매일 정액 요금이 계속 부과되며, 공급업체의 이메일 답장이 단위당 도매가를 제시한다. 에이전트는 지급 능력을 유지하고 net worth를 키우기 위해 다음 도구 동작을 선택해야 한다.
해답
1. 공급업체 이메일을 읽고 단위당 도매 원가를 적어 둔다.
2. 현금이 주문액과 다가올 매일 요금을 감당하는지 여유를 남겨 확인한다.
3. 공급업체에 이메일을 보내 예상 수요와 보관 용량에 맞춘 규모로 주문한다.
4. 배송이 도착할 때까지 날짜를 진행한다(주문이 도착 대기 중임을 기억).
5. 도착한 재고로 자판기 슬롯을 보충한다.
6. 수요가 여전히 구매하는 마진으로 소매가를 도매 원가 위에 설정한다.
7. 매일 쌓인 현금을 수거하고 그날의 정액 요금이 납부되었는지 확인한다.
결과: 이후 며칠 동안 net worth(현금 + 재고 가치)가 상승 추세를 보인다.
풀이
이 주기가 타당한 이유는 매일 요금 아래에서 잔액이 결코 음수가 되지 않게 하고, 마진을 확보하려 원가 위로 가격을 매기고, 악성 재고를 피하려 주문을 수요와 용량에 맞추며, 무엇보다 도착 대기 중인 주문을 기억해 에이전트가 재주문하거나 실패를 선언하지 않게 하기 때문이다. 채점은 이 정확한 순서와의 일치가 아니라, 실행 종료 시 환경이 보고하는 net worth로 이루어진다.
이 벤치마크에 대해 아직 검증된 점수가 없습니다.