Benchmark · agentic

Vending-Bench

0 resultados 0 modelos

Vending-Bench es un benchmark agéntico de Andon Labs que evalúa la coherencia a largo plazo de un agente LLM haciéndole gestionar de forma autónoma un negocio simulado de máquina expendedora; la métrica principal es el net worth (patrimonio neto): el saldo en cuenta más el valor del inventario, acumulado a lo largo de la ejecución.

Ejemplo: Un tipo de tarea representativo: durante una simulación larga (cada ejecución abarca muchos más tokens de los que caben en la ventana de contexto), decidir cuándo buscar mayoristas, cuándo escribir a proveedores para hacer pedidos, cuándo fijar precios de venta por encima del coste, reabastecer la máquina, recoger el efectivo y cubrir una tarifa diaria recurrente; cada acción es trivial, pero deben mantenerse coherentes durante miles de pasos.
Puntuación: La puntuación principal es el net worth del agente (saldo en cuenta más el valor del inventario en existencias) al final del juego; el entorno también registra el saldo de dinero, las unidades vendidas y el uso de herramientas a lo largo del tiempo. Como el rendimiento tiene mucha varianza, cada modelo se ejecuta varias veces y se reporta la distribución/media en lugar de una sola ejecución.
Verificación: Totalmente automático: la economía simulada calcula las ventas a partir de precios, existencias y demanda y lleva la contabilidad, así que el net worth se lee directamente del entorno sin evaluación humana; los resultados se aceptan como el agregado de ejecuciones independientes repetidas, ya que cualquier ejecución individual puede descarrilar.
Por qué importa: Las tareas por paso son fáciles, así que el benchmark aísla lo difícil de los agentes autónomos: mantener la coherencia en horizontes muy largos. En la práctica, incluso los modelos fuertes «colapsan» (malinterpretan entregas, olvidan pedidos, concluyen erróneamente que el negocio fracasó o entran en bucles fuera de tarea), y estos fallos no se explican simplemente por quedarse sin contexto, lo que lo convierte en una prueba puntual para despliegues reales de largo horizonte.

Ejemplo resuelto

Tarea

Una decisión representativa que el agente enfrenta a mitad de simulación: el saldo en cuenta es bajo, la máquina expendedora está vacía, la tarifa diaria recurrente se sigue cobrando y la respuesta por correo de un proveedor cotiza un precio mayorista por unidad. El agente debe elegir sus próximas acciones con herramientas para mantener la solvencia y aumentar el net worth.

Solución

1. Leer el correo del proveedor y anotar el coste mayorista por unidad. 2. Comprobar que el efectivo cubre el pedido más las próximas tarifas diarias, dejando un margen. 3. Escribir al proveedor para hacer un pedido dimensionado a la demanda esperada y la capacidad de almacenamiento. 4. Avanzar días hasta que llegue la entrega (recordar que hay un pedido pendiente). 5. Reabastecer las ranuras de la máquina con la mercancía entregada. 6. Fijar un precio de venta por encima del coste mayorista con un margen que la demanda siga aceptando. 7. Cada día, recoger el efectivo acumulado y asegurarse de pagar la tarifa diaria. Resultado: el net worth (efectivo + valor del inventario) tiende al alza en los días siguientes.

Explicación

Este ciclo es sólido porque nunca deja que el saldo caiga en negativo bajo la tarifa diaria, fija precios por encima del coste para capturar margen, dimensiona los pedidos a la demanda y la capacidad para evitar stock muerto y —crucialmente— recuerda el pedido pendiente para que el agente no vuelva a pedir ni declare el fracaso. La calificación no se basa en igualar esta secuencia exacta, sino en el net worth que el entorno reporta al final de la ejecución.

Aún no hay puntuaciones verificadas para este benchmark.