Benchmark · agentic
Android World
AndroidWorld स्वायत्त एजेंट्स के लिए एक बेंचमार्क और लाइव-एमुलेटर वातावरण है (Google, 2024), जिसमें एजेंट एक असली Android डिवाइस को नियंत्रित करता है; इसमें 20 असली ऐप्स में हाथ से बनाए गए 116 कार्य हैं, और मीट्रिक कार्य सफलता दर (success rate) है।
और पढ़ें
- उदाहरण
- एजेंट को प्राकृतिक भाषा में एक लक्ष्य मिलता है और उसे पाने के लिए असली ऐप्स चलाने पड़ते हैं — उदाहरण के लिए, किसी कैलेंडर ऐप में लाइव इंटरफ़ेस पर टैप, टाइप और स्क्रॉल करके दिए गए शीर्षक, तारीख़ और समय वाला एक इवेंट बनाना।
- स्कोरिंग
- हर कार्य एक बाइनरी इनाम देता है: यदि अंतिम डिवाइस स्थिति कार्य की सफलता की शर्त पूरी करती है तो 1, अन्यथा 0। स्कोर सफलता दर है — हल किए गए कार्यों का अनुपात, पूरे सेट पर औसत (कार्य यादृच्छिक मानों से पैरामीटरीकृत होते हैं, इसलिए हर रन अलग होता है)।
- सत्यापन
- सफलता की जाँच रन के बाद डिवाइस पर सिस्टम/ऐप की स्थिति की प्रोग्रामेटिक जाँच करके होती है (जैसे किसी ऐप के डेटाबेस, फ़ाइलों या सेटिंग्स की क्वेरी), न कि क्रिया-पथ का मिलान करके या किसी LLM जज से — जिससे इनाम टिकाऊ और पुनरुत्पादनीय बनते हैं।
- यह क्यों मायने रखता है
- यह एजेंट्स का मूल्यांकन वास्तविक, खुले-अंत वाले मोबाइल डिवाइस नियंत्रण पर सत्यापन-योग्य इनामों के साथ करता है; यादृच्छिक पैरामीटर रटने को रोकते हैं, और असली ऐप्स के साथ स्थिति-आधारित ग्रेडिंग इसे मल्टीमॉडल कंप्यूटर-उपयोग एजेंट्स के लिए एक टिकाऊ, पुनरुत्पादनीय परीक्षण-मंच बनाते हैं।
हल किया गया उदाहरण
कार्य
कार्य (ContactsAddContact श्रेणी): «Grace Taylor के लिए एक नया संपर्क बनाएँ। उनका फ़ोन नंबर 555-123-4567 है।» एजेंट लाइव 'Contacts' ऐप पर एक्सेसिबिलिटी ट्री और स्क्रीनशॉट के ज़रिए काम करता है।
समाधान
'Contacts' ऐप खोलें → 'Add contact' पर टैप करें → नाम Grace Taylor दर्ज करें → नंबर 555-123-4567 दर्ज करें → 'Save' पर टैप करें। अंतिम स्थिति: डिवाइस के संपर्क-भंडार में अब Grace Taylor नाम और 555-123-4567 नंबर वाला एक संपर्क है।
व्याख्या
यह सही है क्योंकि कार्य का सफलता-जाँचकर्ता डिवाइस के संपर्कों की क्वेरी करता है और पुष्टि करता है कि ठीक लक्षित नाम और नंबर वाला एक संपर्क मौजूद है; ग्रेडिंग स्थिति की एक बाइनरी जाँच है (इनाम 1/0), चाहे एजेंट वहाँ कैसे भी पहुँचा हो।
इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।