Benchmark · agentic
Vending-Bench
Vending-Bench é um benchmark agêntico da Andon Labs que avalia a coerência de longo prazo de um agente LLM fazendo-o operar de forma autônoma um negócio simulado de máquina de vendas; a métrica principal é o net worth (patrimônio líquido): saldo em conta mais o valor do estoque, acumulado ao longo da execução.
Saiba mais
- Exemplo
- Um tipo de tarefa representativo: ao longo de uma simulação longa (cada execução abrange muito mais tokens do que cabe na janela de contexto), decidir quando procurar atacadistas, quando escrever a fornecedores para fazer pedidos, quando definir preços de venda acima do custo, reabastecer a máquina, recolher o dinheiro e cobrir uma taxa diária recorrente — cada ação é trivial, mas precisam permanecer coerentes por milhares de passos.
- Pontuação
- A pontuação principal é o net worth do agente (saldo em conta mais o valor do estoque em mãos) ao final do jogo; o ambiente também acompanha o saldo de dinheiro, as unidades vendidas e o uso de ferramentas ao longo do tempo. Como o desempenho tem alta variância, cada modelo é executado várias vezes e reporta-se a distribuição/média, não uma única execução.
- Verificação
- Totalmente automático: a economia simulada calcula as vendas a partir de preços, estoque e demanda e mantém a contabilidade, então o net worth é lido diretamente do ambiente sem avaliação humana; os resultados são aceitos como o agregado de execuções independentes repetidas, já que qualquer execução isolada pode descarrilar.
- Por que importa
- As tarefas por passo são fáceis, então o benchmark isola o que há de difícil em agentes autônomos — manter a coerência em horizontes muito longos. Na prática, até modelos fortes «entram em colapso» (interpretam mal entregas, esquecem pedidos, concluem erroneamente que o negócio faliu ou entram em loops fora da tarefa), e essas falhas não se explicam simplesmente por esgotar o contexto — o que o torna um teste pontual para implantações reais de longo horizonte.
Exemplo resolvido
Tarefa
Uma decisão representativa que o agente enfrenta no meio da simulação: o saldo em conta está baixo, a máquina de vendas está vazia, a taxa diária recorrente continua sendo cobrada e a resposta por e-mail de um fornecedor cota um preço de atacado por unidade. O agente deve escolher as próximas ações de ferramenta para manter a solvência e aumentar o net worth.
Solução
1. Ler o e-mail do fornecedor e anotar o custo de atacado por unidade.
2. Verificar se o dinheiro cobre o pedido mais as próximas taxas diárias, mantendo uma folga.
3. Escrever ao fornecedor para fazer um pedido dimensionado à demanda esperada e à capacidade de armazenamento.
4. Avançar os dias até a entrega chegar (lembrar que há um pedido pendente).
5. Reabastecer as posições da máquina com a mercadoria entregue.
6. Definir um preço de venda acima do custo de atacado com uma margem que a demanda ainda aceite.
7. A cada dia, recolher o dinheiro acumulado e garantir que a taxa diária seja paga.
Resultado: o net worth (dinheiro + valor do estoque) tende a subir nos dias seguintes.
Explicação
Esse ciclo é sólido porque nunca deixa o saldo ficar negativo sob a taxa diária, precifica acima do custo para capturar margem, dimensiona os pedidos à demanda e à capacidade para evitar estoque parado e — crucialmente — lembra do pedido pendente para que o agente não peça de novo nem declare fracasso. A avaliação não é por bater exatamente com essa sequência, mas pelo net worth que o ambiente reporta ao final da execução.
Ainda não há pontuações verificadas para este benchmark.