Benchmark · agentic

Vending-Bench

1 परिणाम 1 मॉडल

Vending-Bench, Andon Labs का एक एजेंटिक बेंचमार्क है जो किसी LLM एजेंट की दीर्घकालिक सुसंगति (long-term coherence) को परखता है — एजेंट एक सिमुलेटेड वेंडिंग-मशीन व्यवसाय को स्वायत्त रूप से चलाता है; मुख्य मीट्रिक net worth है: खाते का शेष जमा और स्टॉक का मूल्य, जो पूरे रन में संचित होता है।

और पढ़ें

उदाहरण: एक प्रतिनिधि कार्य-प्रकार: एक लंबी सिमुलेशन के दौरान (हर रन कॉन्टेक्स्ट विंडो में समा सकने वाले token से कहीं अधिक token तक फैलता है) यह तय करना कि थोक विक्रेता कब खोजने हैं, ऑर्डर देने के लिए आपूर्तिकर्ताओं को ईमेल कब करना है, खुदरा मूल्य लागत से ऊपर कब तय करना है, मशीन को फिर से भरना, नकद इकट्ठा करना, और एक बार-बार लगने वाले दैनिक शुल्क को चुकाना — हर क्रिया मामूली है, पर उन्हें हज़ारों चरणों तक सुसंगत बनाए रखना होता है।
स्कोरिंग: मुख्य स्कोर खेल के अंत में एजेंट का net worth है (खाते का शेष जमा और रखे हुए स्टॉक का मूल्य); वातावरण समय के साथ धन-शेष, बिकी इकाइयों की संख्या और टूल-उपयोग को भी दर्ज करता है। चूँकि प्रदर्शन में बहुत विचरण (variance) होता है, हर मॉडल को कई बार चलाया जाता है और एकल रन के बजाय वितरण/औसत रिपोर्ट किया जाता है।
सत्यापन: पूरी तरह स्वचालित: सिमुलेटेड अर्थव्यवस्था मूल्य, स्टॉक और माँग से बिक्री की गणना करती है और बहीखाता रखती है, इसलिए net worth सीधे वातावरण से पढ़ा जाता है, किसी मानवीय ग्रेडिंग के बिना; चूँकि कोई भी एकल रन पटरी से उतर सकता है, परिणाम कई स्वतंत्र रनों के समुच्चय के रूप में स्वीकार किए जाते हैं।
यह क्यों मायने रखता है: प्रति-चरण कार्य आसान हैं, इसलिए यह बेंचमार्क स्वायत्त एजेंटों के कठिन हिस्से को अलग कर देता है — बहुत लंबे क्षितिजों पर सुसंगत बने रहना। व्यवहार में मज़बूत मॉडल भी «मेल्टडाउन» कर जाते हैं (डिलीवरी गलत समझना, ऑर्डर भूल जाना, गलती से यह निष्कर्ष निकालना कि व्यवसाय विफल हो गया, या कार्य से भटके लूप में फँस जाना), और ये विफलताएँ केवल कॉन्टेक्स्ट खत्म होने से नहीं समझाई जा सकतीं — इससे यह असली दीर्घ-क्षितिज तैनाती के लिए एक सटीक परीक्षा बन जाता है।

हल किया गया उदाहरण

कार्य

सिमुलेशन के बीच में एजेंट के सामने आने वाला एक प्रतिनिधि निर्णय: खाते का शेष कम है, वेंडिंग मशीन खाली है, बार-बार लगने वाला दैनिक शुल्क अब भी कट रहा है, और किसी आपूर्तिकर्ता के ईमेल-जवाब में प्रति-इकाई थोक मूल्य दिया गया है। एजेंट को अगले टूल-एक्शन चुनने होते हैं ताकि व्यवसाय विलायक (solvent) बना रहे और net worth बढ़े।

समाधान

1. आपूर्तिकर्ता का ईमेल पढ़ें और प्रति-इकाई थोक लागत नोट करें। 2. जाँचें कि नकद, ऑर्डर और आने वाले दैनिक शुल्कों को कवर करता है, और एक बफर छोड़ें। 3. आपूर्तिकर्ता को ईमेल कर के ऑर्डर दें, जिसका आकार अपेक्षित माँग और भंडारण क्षमता के अनुसार हो। 4. डिलीवरी आने तक दिन आगे बढ़ाएँ (याद रखें कि एक ऑर्डर रास्ते में है)। 5. आई हुई माल से मशीन के स्लॉट फिर से भरें। 6. खुदरा मूल्य थोक लागत से ऊपर ऐसे मार्जिन पर तय करें जिसे माँग अब भी खरीदती हो। 7. हर दिन जमा हुआ नकद इकट्ठा करें और सुनिश्चित करें कि दैनिक शुल्क चुका दिया गया है। परिणाम: आने वाले दिनों में net worth (नकद + स्टॉक का मूल्य) ऊपर की ओर बढ़ता है।

व्याख्या

यह चक्र सही है क्योंकि यह दैनिक शुल्क के बावजूद शेष को कभी ऋणात्मक नहीं होने देता, मार्जिन पाने के लिए लागत से ऊपर मूल्य रखता है, बेकार स्टॉक से बचने के लिए ऑर्डर को माँग और क्षमता के अनुसार रखता है, और — सबसे अहम — रास्ते में मौजूद ऑर्डर को याद रखता है ताकि एजेंट दोबारा ऑर्डर न करे या विफलता घोषित न कर दे। ग्रेडिंग इस सटीक क्रम से मिलान पर नहीं, बल्कि उस net worth पर होती है जिसे वातावरण रन के अंत में रिपोर्ट करता है।

Grok 4

समयरेखा

तारीख़	मॉडल	स्कोर	स्रोत
2025-07-09	Grok 4	4694.15pts	xAI ने स्केल्ड रीइन्फोर्समेंट लर्निंग और नेटिव टूल यूज़ के साथ Grok 4 जारी किया