शोधकर्ताओं ने WebArena का परिचय दिया है, जो एक अत्यधिक यथार्थवादी और पुनरुत्पादित योग्य वातावरण है जिसे भाषा-निर्देशित स्वतंत्र एजेंट्स को बनाने और परीक्षण करने के लिए डिज़ाइन किया गया है। पिछले संश्लेषित सेटिंग्स के विपरीत, इस प्लेटफ़ॉर्म में चार सामान्य डोमेन: ई-कॉमर्स, सामाजिक फोरम, सहयोगी सॉफ़्टवेयर विकास और सामग्री प्रबंधन में पूरी तरह से कार्यात्मक वेबसाइटें हैं।
- वातावरण में मानव-समान कार्य समाधान को प्रोत्साहित करने के लिए मानचित्र और बाहरी ज्ञान आधार जैसे उपकरण शामिल हैं।
- एजेंट पूर्णताओं के कार्यात्मक सटीकता का मूल्यांकन करने के लिए विविध, लंबे-अवधि कार्यों का एक बेंचमार्क जारी किया गया है।
- बेलाइन प्रयोगों से पता चलता है कि सर्वश्रेष्ठ GPT-4-आधारित एजेंट ने केवल 14.41% अंत-से-अंत कार्य सफलता दर हासिल की है।
- यह प्रदर्शन मानव प्रदर्शन से काफी कम है, जो 78.24% पर खड़ा है।
परिणाम इस बात को उजागर करते हैं कि वर्तमान राज्य-कला के बड़े भाषा मॉडल वास्तविक जीवन की कार्यों में पूर्णता से दूर हैं और WebArena के भविष्य की प्रगति को मापने में उपयोगिता को प्रदर्शित करते हैं।