Benchmark · agentic

Windows Agent Arena

1 परिणाम 1 मॉडल

Windows Agent Arena (WAA) एक पुनरुत्पादनीय बेंचमार्क है जो जीवंत Windows 11 वातावरण के भीतर की गई 154 वास्तविक कार्यों पर मल्टीमॉडल AI एजेंट्स का मूल्यांकन करता है; मुख्य मापदंड है task success rate — यानी एजेंट द्वारा सही ढंग से पूरे किए गए कार्यों का अनुपात।

और पढ़ें

उदाहरण: एक कार्य-प्रकार: केवल स्क्रीनशॉट और accessibility tree का उपयोग करते हुए वास्तविक डेस्कटॉप ऐप्स को चलाकर लक्ष्य-स्थिति तक पहुँचना — उदाहरण के लिए, Windows Settings में कोई विकल्प बदलना, LibreOffice Calc में स्प्रेडशीट संपादित करना, VS Code में कोई एक्सटेंशन इंस्टॉल करना, या Chrome में कोई ब्राउज़िंग कार्य पूरा करना।
स्कोरिंग: हर कार्य के साथ एक नियतात्मक (deterministic) reward स्क्रिप्ट आती है जो एपिसोड के अंत में वर्चुअल मशीन की अंतिम स्थिति (फाइलें, रजिस्ट्री मान, ऐप आउटपुट) की जाँच करती है और प्रति-कार्य एक स्कोर लौटाती है, आमतौर पर बाइनरी सफलता (1/0)। बेंचमार्क का स्कोर सभी 154 कार्यों पर औसत सफलता-दर है; पूर्ण रन Azure वर्चुअल मशीनों पर समानांतर चलाए जाते हैं।
सत्यापन: कोई परिणाम तभी गिना जाता है जब कार्य का अंतर्निहित वैलिडेटर वास्तविक वातावरण में लक्षित अंतिम-स्थिति की पुष्टि करता है — न कि एजेंट के टेक्स्ट या क्रिया-लॉग से मिलान करके। एजेंट के पास क्रियाओं/चरणों का एक निश्चित बजट होता है; उसे पार करना या गलत स्थिति छोड़ना 0 अंक देता है। रन पुनरुत्पादनीय होते हैं क्योंकि वर्चुअल मशीन इमेज और कार्य-कॉन्फ़िगरेशन स्थिर होते हैं।
यह क्यों मायने रखता है: यह परखता है कि एजेंट वास्तव में एक पूर्ण, वास्तविक ऑपरेटिंग सिस्टम को चला सकते हैं या नहीं — कई रोज़मर्रा के ऐप्स के ग्राफिकल इंटरफ़ेस में नेविगेट करते हुए — न कि केवल सवालों के जवाब देते हुए। मौजूदा एजेंट्स और बिना सहायता वाले मनुष्यों के बीच बड़ा अंतर है, और Azure पर समानांतर बनाया गया ढाँचा बड़े पैमाने पर और पुनरुत्पादनीय OS-एजेंट मूल्यांकन को तेज़ बनाता है।

हल किया गया उदाहरण

कार्य

प्रतिनिधि आइटम (Windows Settings डोमेन): «Windows ऐप्स के रंग मोड को Dark में बदलें।» एजेंट को एक नई Windows 11 वर्चुअल मशीन का स्क्रीनशॉट और accessibility tree मिलता है और उसे इसे पूरा करने के लिए ग्राफिकल इंटरफ़ेस क्रियाएँ (माउस और कीबोर्ड) करनी होती हैं; केवल लक्ष्य दिया जाता है, कोई लक्ष्य-टेक्स्ट नहीं।

समाधान

चरण: 1) Settings खोलें (Win+I, या Start फिर Settings)। 2) Personalization पर जाएँ, फिर Colors। 3) «Choose your mode» के अंतर्गत Dark चुनें। अंतिम स्थिति: ऐप/सिस्टम थीम Dark है (रजिस्ट्री मान HKCU\...\Themes\Personalize\AppsUseLightTheme = 0)।

व्याख्या

यह सही है क्योंकि लक्ष्य एक स्थिति-परिवर्तन है और यह क्रम ठीक वही मान सेट करता है जिसे वैलिडेटर पढ़ता है। एपिसोड के बाद reward स्क्रिप्ट वर्चुअल मशीन की रजिस्ट्री से पूछताछ करती है और success=1 तभी लौटाती है जब AppsUseLightTheme डार्क मान (0) के बराबर हो, चाहे एजेंट ने इसे कैसे भी हासिल किया हो।

UI-TARS-2

समयरेखा

तारीख़	मॉडल	स्कोर	स्रोत
2025-09-02	UI-TARS-2	50.6%	UI-TARS-2 बहु-चक्र प्रबलता सीखने के साथ GUI एजेंट को आगे बढ़ाता है