लेखकों ने WebMRE का परिचय दिया, जो 541 कार्यों और 5,293 चरणों का एक ऑफलाइन बेंचमार्क है, जो सफल WebArena ट्राजेक्टरी से व्युत्पन्न है, जिसका उद्देश्य पर्यावरण विचलन के बिना वेब एजेंट चेकपॉइंट्स को स्कोर करने के लिए एक निर्धारक प्रोटोकॉल प्रदान करना है। यह फ्रेमवर्क मानव-उन्मुख गाइड वाक्यों को भूमिगत कार्यों के साथ जोड़ता है ताकि उनके बीच पारस्परिक पुनर्बलन प्रभाव का अध्ययन किया जा सके।
- एक गाइड को संयुक्त रूप से डीकोड करने से Qwen3.5-4B के लिए तत्व चयन में 0.9 और 0.2 अंक की वृद्धि होती है, और Qwen3.5-9B के लिए 1.7 और 2.2 अंकों की वृद्धि होती है।
- मध्यस्थता विश्लेषण पुष्टि करता है कि गाइड एक कारण चैनल के रूप में कार्य करता है: डिकोडिंग उपसर्ग के रूप में गोल्ड गाइड को बाध्य करने से कार्य सटीकता .422 से बढ़कर .684 हो जाती है।
- फाइन-ट्यून्ड मॉडल शून्य-शॉट ऑफलाइन मेट्रिक्स में GPT-5.5, Claude Opus 4.8, और Gemini 3.5 Flash को हराते हैं।
अध्ययन दर्शाता है कि गाइड केवल लेबल स्ट्रिंग्स के बजाय निर्देश अर्थ वहन करते हैं, जो वेब एजेंट्स में प्रशिक्षण घटनाओं का मूल्यांकन करने के लिए एक पुनरुत्पादक विधि प्रदान करते हैं।