Benchmark · multimodal
MMMU
MMMU (Massive Multi-discipline Multimodal Understanding) यह जाँचता है कि क्या कोई मॉडल कई शैक्षणिक विषयों में छवियों और पाठ को मिलाकर पूछे गए कॉलेज-स्तर के प्रश्नों का उत्तर दे सकता है। परिणाम सही उत्तरों के प्रतिशत (सटीकता) के रूप में दिया जाता है।
और पढ़ें
- उदाहरण
- किसी प्रश्न में पाठ के साथ रसायन विज्ञान का आरेख, ग्राफ़ या चिकित्सा छवि दी जा सकती है और मॉडल से तर्क करके सही उत्तर चुनने को कहा जाता है — जैसे विश्वविद्यालय की परीक्षा का कोई प्रश्न।
- स्कोरिंग
- हर प्रश्न को सही या गलत आँका जाता है, और स्कोर सही उत्तर दिए गए प्रश्नों का प्रतिशत (सटीकता) होता है।
- सत्यापन
- उत्तरों की जाँच संदर्भ उत्तर से exact match द्वारा स्वचालित रूप से की जाती है (ज़्यादातर बहुविकल्पीय, कुछ छोटे खुले उत्तर), इसलिए मानवीय मूल्यांकन की आवश्यकता नहीं होती।
- यह क्यों मायने रखता है
- यह दर्जनों विषयों में छवियों और पाठ पर विशेषज्ञ, कॉलेज-स्तर के तर्क को मापता है, जिससे यह केवल पाठ की क्षमता के बजाय वास्तविक मल्टीमॉडल समझ की कड़ी परीक्षा बन जाता है।
हल किया गया उदाहरण
MMMU (Massive Multi-discipline Multimodal Understanding) कॉलेज-स्तर के प्रश्न देता है जो पाठ के साथ एक छवि — कोई आरेख, चार्ट, रासायनिक संरचना या चिकित्सा स्कैन — को छह विषयों में जोड़ते हैं, ताकि उत्तर देने के लिए मॉडल को सचमुच छवि “पढ़नी” पड़े। एक प्रतिनिधि Science प्रश्न: साथ दी गई आकृति में एक परिपथ दिखाया गया है जिसमें 12 V की बैटरी दो श्रेणीक्रम (series) प्रतिरोधकों से जुड़ी है, जिन पर R1 = 4 Ω और R2 = 2 Ω अंकित है। प्रश्न: “बैटरी द्वारा दी गई धारा कितनी है?”, विकल्प (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A। सही उत्तर है (B) 2 A। तर्क: श्रेणीक्रम में प्रतिरोध जुड़ते हैं, इसलिए कुल प्रतिरोध R = 4 Ω + 2 Ω = 6 Ω है, और Ohm के नियम से I = V / R = 12 V / 6 Ω = 2 A मिलता है। यह प्रश्न “मल्टीमॉडल” है क्योंकि प्रतिरोधकों के मान और उनका श्रेणीक्रम विन्यास केवल आरेख पढ़कर ही जाना जा सकता है, केवल पाठ से नहीं।
इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।