शोधकर्ताओं ने DevicesWorld पेश किया, एक बड़े पैमाने पर निष्पादन योग्य बेंचमार्क जिसे मोबाइल, डेस्कटॉप और IoT डिवाइस सहित विषम वातावरण में संचालित LLM-based एजेंट्स का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
- बेंचमार्क में 6,140 कार्य शामिल हैं जो क्रॉस-डिवाइस इंटरैक्शन के लिए तीन श्रेणियों के डिवाइस वातावरण को एक एकीकृत फ्रेमवर्क में एकीकृत करते हैं।
- प्रत्येक कार्य प्राकृतिक भाषा लक्ष्यों, भाग लेने वाले डिवाइसों, प्रारंभिक अवस्थाओं, निष्पादन योग्य कार्यों, नियम-आधारित सत्यापकों और साफ़ करने की प्रक्रियाओं को परिभाषित करता है।
- पांच अग्रणी LLM-agent सिस्टम का मूल्यांकन कम सफलता दरों को दर्शाता है, जहाँ सबसे अच्छा प्रदर्शन केवल 12.5% था।
- विश्लेषण दिखाता है कि एजेंट्स जानकारी प्राप्त करने, इंटरफ़ेस हैंडलिंग और स्रोत बनाम आउटपुट डिवाइसों में भ्रमित होने में अक्सर संघर्ष करते हैं।
DevicesWorld विश्वसनीय क्रॉस-डिवाइस एजेंट्स पर शोध को आगे बढ़ाने के लिए एक पुनरुत्पादक और निदानात्मक रूप से उपयोगी मूल्यांकन समस्या प्रदान करता है।