शोधकर्ताओं ने MORE पेश किया, एक बड़े-स्तर का बेंचमार्क जो Vision-Language Models के प्रदर्शन का मूल्यांकन करने के लिए डिज़ाइन किया गया है। डेटासेट मॉडल-सहायित, मानव-संशोधित एनोटेशन पाइपलाइन के माध्यम से वास्तविक दस्तावेज़ों से नमूनों को संकलित करके low-resource languages के लिए ground truth की कमी को पूरा करता है।
- 149 भाषाओं को कवर करता है, जिससे यह अब तक का सबसे भाषाई रूप से विविध बेंचमार्क बन जाता है।
- सादे पाठ से परे मूल्यांकन को कोड ब्लॉक, तालिकाओं और कैटलॉग जैसे संरचनात्मक तत्वों तक बढ़ाता है।
- state-of-the-art मॉडल का उपयोग करके long-tail languages के लिए नए performance baselines स्थापित करता है।
यह बेंचमार्क वास्तविक, विविध परिदृश्यों में मॉडल क्षमताओं का निदान करने का लक्ष्य रखता है जहाँ मौजूदा उपकरण मुख्य रूप से अंग्रेजी और चीनी जैसे high-resource languages पर केंद्रित हैं।