Benchmark · multimodal
MMMU-Pro
MMMU-Pro, MMMU बेंचमार्क का मज़बूती-वर्धित संस्करण है, जो छह विषय-क्षेत्रों में कॉलेज-स्तर की बहुविध (मल्टीमॉडल: छवि + पाठ) समझ और तर्क को मापता है; इसका मापदंड बहुविकल्पीय प्रश्नों की सटीकता (accuracy) है।
और पढ़ें
- उदाहरण
- किसी विषय का एक प्रश्न एक छवि — आरेख, चार्ट, रासायनिक संरचना या चिकित्सा स्कैन — को कॉलेज-स्तर के प्रश्न और अधिकतम 10 उत्तर-विकल्पों के साथ जोड़ता है; केवल-दृष्टि (vision-only) सेटिंग में पूरा प्रश्न और उसके विकल्प एक स्क्रीनशॉट या फ़ोटो के भीतर अंतर्निहित होते हैं, इसलिए मॉडल को पाठ स्वयं छवि से पढ़ना पड़ता है।
- स्कोरिंग
- सटीकता (accuracy): मॉडल द्वारा चुने गए विकल्प का संदर्भ उत्तर-कुंजी से सटीक मिलान किया जाता है, और स्कोर सही उत्तर वाले प्रश्नों का प्रतिशत होता है। यादृच्छिक अनुमान को कठिन बनाने के लिए उम्मीदवार विकल्प 4 से बढ़ाकर 10 कर दिए जाते हैं, और समग्र MMMU-Pro स्कोर, Standard (10 विकल्प) और Vision (छवि-इनपुट) सेटिंग्स का औसत होता है (सामान्यतः Chain-of-Thought तर्क-प्रॉम्प्ट का उपयोग होता है)।
- सत्यापन
- हर प्रश्न एकल-सही-उत्तर वाला बहुविकल्पीय है, इसलिए मूल्यांकन स्वचालित है: अंतिम चुना गया विकल्प मॉडल के आउटपुट (अक्सर विचार-शृंखला सहित) से निकाला जाता है और संदर्भ उत्तर से सटीक मिलान के लिए तुलना की जाती है। मज़बूती डेटा में ही अंतर्निहित है — जिन प्रश्नों का उत्तर केवल-पाठ मॉडल दे सकते हैं उन्हें छाँटकर हटा दिया जाता है और विकल्पों की संख्या 10 तक बढ़ा दी जाती है — इसलिए उच्च स्कोर वास्तविक बहुविध तर्क को दर्शाता है, न कि पाठ-आधारित शॉर्टकट या भाग्यवश लगे अनुमान को।
- यह क्यों मायने रखता है
- मूल MMMU में स्कोर बढ़े-चढ़े दिखते थे क्योंकि मॉडल केवल-पाठ शॉर्टकट का लाभ उठा सकते थे या चार विकल्पों में से अनुमान लगा सकते थे; MMMU-Pro दोनों को हटा देता है, जिससे मापी गई सटीकता तेज़ी से गिरती है और उन मॉडलों को बेहतर ढंग से अलग करती है जो वास्तव में दृष्टि और पाठ को एकीकृत करते हैं — यह विशेषज्ञ-स्तर की बहुविध क्षमता का अधिक ईमानदार मापन बन जाता है।
हल किया गया उदाहरण
कार्य
MMMU-Pro प्रारूप में विज्ञान (भौतिकी) का एक प्रतिनिधि प्रश्न। [छवि: θ = 30° कोण वाले घर्षण-रहित आनत तल पर रखा एक गुटका।] प्रश्न: आनत तल के अनुदिश गुटके के त्वरण का परिमाण क्या है? विकल्प (10): (A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s²। केवल-दृष्टि सेटिंग में यह पूरा प्रश्न एक स्क्रीनशॉट के भीतर अंतर्निहित रूप में दिखाई देता है।
समाधान
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
व्याख्या
घर्षण-रहित आनत तल पर सतह के अनुदिश एकमात्र बल गुरुत्व का घटक mg·sin θ है, इसलिए त्वरण g·sin θ होता है और गुटके के द्रव्यमान से स्वतंत्र होता है; g·sin 30° = 4.9 m/s², जो विकल्प (E) से मेल खाता है। मूल्यांकन निकाले गए विकल्प-अक्षर की संदर्भ उत्तर-कुंजी से सटीक मिलान के आधार पर तुलना करता है।
इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।