शोधकर्ताओं ने OSWorld का परिचय दिया, जो ओपन-एंडेड टास्क पर मल्टीमोडल एजेंट्स का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला स्केलेबल, रियल कंप्यूटर वातावरण है।
- बेंचमार्क में 369 कंप्यूटर टास्क शामिल हैं जो वेब और डेस्कटॉप ऐप्स, फाइल I/O, और मल्टी-एप्लिकेशन वर्कफ़्लो से जुड़े वास्तविक दुनिया के उपयोग मामलों से निकाले गए हैं।
- प्रत्येक टास्क में एक विस्तृत प्रारंभिक स्थिति सेटअप और विश्वसनीय मूल्यांकन के लिए कस्टम एक्जीक्यूशन-आधारित इवैलुएशन स्क्रिप्ट्स हैं।
- स्टेट-ऑफ़-द-आर्ट LLM/VLM-आधारित एजेंट्स का मूल्यांकन करने पर महत्वपूर्ण कमी दिखाई दी, जहां सबसे अच्छे मॉडल ने केवल 12.24% सफलता हासिल की, जबकि मानव प्रदर्शन 72.36% से अधिक था।
- पहचाने गए मुख्य संघर्ष GUI ग्राउंडिंग और ऑपरेशनल ज्ञान हैं।
यह बेंचमार्क एजेंट स्केलेबिलिटी का मूल्यांकन करने के लिए एक एकीकृत वातावरण प्रदान करता है और उन मल्टीमोडल जनरलिस्ट एजेंट्स को विकसित करने के लिए अंतर्दृष्टि देता है जिन्हें पिछले बेंचमार्क्स समर्थित नहीं कर सकते थे।