Benchmark · agentic
VisualWebArena
VisualWebArena मापता है कि मल्टीमॉडल (दृष्टि-सक्षम) स्वायत्त एजेंट वास्तविक, स्व-होस्ट की गई वेबसाइटों (Classifieds, Shopping, Reddit) पर यथार्थवादी, दृश्य-आधारित कार्यों को कितनी अच्छी तरह पूरा करते हैं; प्रदर्शन को इसके 910 कार्यों पर समग्र कार्य सफलता दर (success rate) के रूप में बताया जाता है।
और पढ़ें
- उदाहरण
- छवि-आधारित ब्राउज़िंग कार्य: किसी उत्पाद की संदर्भ छवि दिए जाने पर, एजेंट को किसी क्लासिफ़ाइड या शॉपिंग साइट पर नेविगेट करके वह लिस्टिंग खोजनी होती है जो दी गई शर्त (जैसे सबसे सस्ती, विशेष स्थिति) के तहत चित्रित वस्तु से मेल खाती हो, और उसे खोलना या मांगा गया विवरण बताना होता है।
- स्कोरिंग
- मेट्रिक सफलता दर है। प्रत्येक कार्य को एक प्रोग्रामेटिक रिवॉर्ड फ़ंक्शन द्वारा 0 या 1 अंक दिया जाता है, जो एजेंट के अंतिम उत्तर या साइट की परिणामी स्थिति की तुलना पूर्वनिर्धारित लक्ष्य से करता है (उत्तरों के लिए सटीक मिलान, अनिवार्य समावेशन, या अस्पष्ट पाठ मिलान; नेविगेशन या लेन-देन लक्ष्यों के लिए URL/स्थिति जाँच)। स्कोर उन कार्यों का अंश है जिन्हें 1 मिलता है।
- सत्यापन
- मूल्यांकन निष्पादन-आधारित है: एजेंट पृथक, स्व-होस्ट किए गए वेब ऐप्स पर एक वास्तविक ब्राउज़र चलाता है (पुनरुत्पादन के लिए कार्यों के बीच रीसेट किया जाता है), और रिवॉर्ड फ़ंक्शन परिणाम की प्रोग्रामेटिक रूप से जाँच करता है — बिना किसी मानवीय निर्णय के। कोई कार्य तभी गिना जाता है जब उसकी स्वचालित जाँच पास हो।
- यह क्यों मायने रखता है
- वास्तविक वेबसाइटें दृश्यात्मक होती हैं, और केवल-पाठ अवलोकन (एक्सेसिबिलिटी ट्री या HTML) छवि-आधारित जानकारी को चूक जाते हैं; VisualWebArena परखता है कि क्या एजेंट दृश्य सामग्री को समझते हुए साथ-साथ कार्य कर सकते हैं, जिससे मानव और एजेंट के बीच बड़ा अंतर उजागर होता है और Set-of-Marks दृश्य प्रॉम्प्टिंग जैसी मल्टीमॉडल एजेंट तकनीकों को बढ़ावा मिलता है।
हल किया गया उदाहरण
कार्य
परिवेश: स्व-होस्ट की गई Classifieds साइट। मंशा (एक ऑफ़िस कुर्सी की संलग्न संदर्भ छवि के साथ): «उस लिस्टिंग पर जाएँ जो इस छवि में दिखाई गई वस्तु बेच रही है, और मुझे उसकी माँगी गई कीमत बताएँ»।
समाधान
मुख्य चरण: (1) संदर्भ छवि को देखें और कुर्सी की विशिष्ट दृश्य विशेषताएँ नोट करें; (2) Classifieds साइट की फ़र्नीचर श्रेणी में ब्राउज़/खोज करें; (3) लिस्टिंग थंबनेल की संदर्भ छवि से तुलना करें और सही लिस्टिंग खोलें; (4) उस लिस्टिंग पृष्ठ पर माँगी गई कीमत पढ़ें; (5) उसे stop क्रिया से भेजें, जैसे
stop [<price>]। अंतिम उत्तर: मिलान करने वाली लिस्टिंग पर दिखाई गई सटीक कीमत (उदाहरण के लिए, जैसे stop [$45])।व्याख्या
यह सही है क्योंकि कार्य को केवल संदर्भ छवि को एकमात्र मेल खाती लिस्टिंग से जोड़कर (ऐसा दृश्य मिलान जो केवल-पाठ दृश्य नहीं कर सकता) और फिर माँगे गए सटीक मान को निकालकर ही हल किया जा सकता है। ग्रेडिंग: रिवॉर्ड फ़ंक्शन भेजे गए उत्तर की तुलना लक्ष्य कीमत से स्ट्रिंग/अस्पष्ट मिलान द्वारा करता है, जिससे बाइनरी 0/1 मिलता है जो समग्र सफलता दर में जुड़ता है।
इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।