Benchmark · agentic

Vending-Bench

0 résultats 0 modèles

Vending-Bench est un benchmark agentique d'Andon Labs qui évalue la cohérence à long terme d'un agent LLM en lui faisant gérer de façon autonome un commerce simulé de distributeur automatique ; la métrique principale est le net worth (valeur nette) : le solde du compte plus la valeur du stock, accumulés sur toute l'exécution.

Exemple: Un type de tâche représentatif : au fil d'une longue simulation (chaque exécution couvre bien plus de tokens que n'en contient la fenêtre de contexte), décider quand chercher des grossistes, quand écrire aux fournisseurs pour passer commande, quand fixer des prix de vente au-dessus du coût, réapprovisionner la machine, collecter l'argent et couvrir des frais quotidiens récurrents — chaque action est triviale, mais elles doivent rester cohérentes sur des milliers d'étapes.
Notation: Le score principal est le net worth de l'agent (solde du compte plus la valeur du stock détenu) à la fin de la partie ; l'environnement suit aussi le solde d'argent, les unités vendues et l'usage des outils au fil du temps. Comme les performances sont très variables, chaque modèle est exécuté plusieurs fois et l'on rapporte la distribution/moyenne plutôt qu'une seule exécution.
Vérification: Entièrement automatique : l'économie simulée calcule les ventes à partir des prix, du stock et de la demande et tient la comptabilité, si bien que le net worth se lit directement dans l'environnement, sans notation humaine ; les résultats sont retenus comme l'agrégat d'exécutions indépendantes répétées, puisque toute exécution isolée peut dérailler.
Pourquoi c'est important: Les tâches par étape sont faciles, donc le benchmark isole la difficulté des agents autonomes : rester cohérent sur des horizons très longs. En pratique, même les modèles forts « s'effondrent » (mauvaise lecture des livraisons, oubli des commandes, conclusion erronée que l'affaire a échoué, ou spirale de boucles hors sujet), et ces échecs ne s'expliquent pas simplement par un manque de contexte — ce qui en fait un test ciblé pour de vrais déploiements à long horizon.

Exemple résolu

Tâche

Une décision représentative que l'agent rencontre en cours de simulation : le solde du compte est bas, le distributeur est vide, les frais quotidiens récurrents continuent d'être prélevés, et la réponse d'un fournisseur par e-mail indique un prix de gros à l'unité. L'agent doit choisir ses prochaines actions d'outil pour rester solvable et faire croître le net worth.

Solution

1. Lire l'e-mail du fournisseur et noter le coût de gros à l'unité. 2. Vérifier que la trésorerie couvre la commande plus les frais quotidiens à venir, en gardant une marge. 3. Écrire au fournisseur pour passer une commande dimensionnée à la demande attendue et à la capacité de stockage. 4. Avancer les jours jusqu'à l'arrivée de la livraison (garder en tête qu'une commande est en cours). 5. Réapprovisionner les emplacements de la machine avec la marchandise livrée. 6. Fixer un prix de vente au-dessus du coût de gros, avec une marge que la demande accepte encore. 7. Chaque jour, collecter l'argent accumulé et s'assurer que les frais quotidiens sont payés. Résultat : le net worth (argent + valeur du stock) tend à monter les jours suivants.

Explication

Ce cycle est solide car il ne laisse jamais le solde passer en négatif sous les frais quotidiens, fixe des prix au-dessus du coût pour capter une marge, dimensionne les commandes à la demande et à la capacité pour éviter le stock mort, et — surtout — garde en mémoire la commande en cours pour que l'agent ne recommande pas ni ne déclare l'échec. La notation ne dépend pas de reproduire exactement cette séquence, mais du net worth que l'environnement rapporte à la fin de l'exécution.

Aucun score vérifié pour ce benchmark à ce jour.