शोधकर्ताओं ने Mobile-Agent-v3 जारी किया है, जो मौलिक GUI-Owl मॉडल पर बना एक सामान्य उद्देश्य का GUI एजेंट फ्रेमवर्क है, जो दस GUI बेंचमार्क्स पर ओपन-सोर्स एंड-टू-एंड मॉडल्स के बीच शीर्ष प्रदर्शन प्राप्त करता है। सिस्टम स्वचालन क्षमताओं को बेहतर बनाने के लिए GUI-Owl-7B को एक स्व-विकासशील ट्रेजेक्टरी उत्पादन फ्रेमवर्क और स्केलेबल रिनफोर्समेंट लर्निंग के साथ जोड़ता है।
- GUI-Owl-7B ने AndroidWorld पर 66.4 और OSWorld पर 29.4 प्राप्त किए, जबकि Mobile-Agent-v3 ने इन स्कोर को क्रमशः 73.3 और 37.7 तक बढ़ा दिया।
- फ्रेमवर्क उच्च-गुणवत्ता वाले इंटरैक्शन डेटा को जनरेट करने के लिए Android, Ubuntu, macOS और Windows को कवर करने वाले क्लाउड-आधारित वर्चुअल एनवायरनमेंट का उपयोग करता है।
- GUI-Owl मल्टी-एजेंट सिस्टम में एक मॉड्यूलर घटक के रूप में एंड-टू-एंड निर्णय लेने का समर्थन करने के लिए UI ग्राउंडिंग, प्लानिंग, एक्शन सेमांटिक्स और रीज़निंग पैटर्न को एकीकृत करता है।
- टीम ने ऑनलाइन रिनफोर्समेंट लर्निंग के लिए Trajectory-aware Relative Policy Optimization (TRPO) विकसित किया, जो पूरी तरह से असिंक्रोनस ट्रेनिंग के साथ OSWorld पर 34.9 प्राप्त करता है।
ओपन-सोर्स मॉडल्स एक स्व-बेहतर लूप प्रदान करते हैं जो मैनुअल एनोटेशन की आवश्यकता को कम करता है और GUI ऑटोमेशन कार्यों के लिए रियल-वर्ल्ड अलाइनमेंट सक्षम बनाता है।