Benchmark · general
MMLU-Pro
MMLU-Pro, MMLU का एक कठिन और तर्क-केंद्रित उत्तराधिकारी है, जो प्रत्येक प्रश्न में 10 उत्तर विकल्प वाले बहुविकल्पीय प्रश्नों के ज़रिए कई शैक्षणिक विषयों में मॉडल के ज्ञान और समस्या-समाधान की जाँच करता है। परिणाम प्रतिशत सटीकता (accuracy) के रूप में दिया जाता है — यानी सही उत्तर दिए गए प्रश्नों का अनुपात।
और पढ़ें
- उदाहरण
- एक सामान्य प्रश्न गणित, भौतिकी, कानून या इंजीनियरिंग जैसे किसी क्षेत्र का बहुविकल्पीय प्रश्न होता है जिसमें कई तर्क-चरण लगते हैं, और मॉडल को 10 विकल्पों में से एकमात्र सही उत्तर चुनना होता है (मूल MMLU में केवल 4 विकल्प थे)।
- स्कोरिंग
- मापदंड सटीकता (accuracy) है: उन प्रश्नों का प्रतिशत जिनमें मॉडल सही विकल्प चुनता है, जिसे सही उत्तरों को कुल प्रश्नों से भाग देकर निकाला जाता है।
- सत्यापन
- हर उत्तर की जाँच स्वचालित रूप से होती है — मॉडल द्वारा चुने गए विकल्प का ज्ञात सही लेबल से सटीक मिलान (exact match) किया जाता है, इसलिए किसी मानवीय मूल्यांकन की ज़रूरत नहीं होती।
- यह क्यों मायने रखता है
- चूँकि अग्रणी मॉडल मूल MMLU को लगभग संतृप्त कर चुके थे, MMLU-Pro के कठिन प्रश्न और 10 विकल्प इसे अधिक विभेदक और वास्तविक तर्क के प्रति अधिक संवेदनशील बनाते हैं, जिससे प्रगति का अधिक स्पष्ट संकेत मिलता है।
हल किया गया उदाहरण
कार्य
MMLU-Pro (भौतिकी, 10 विकल्प)। एक प्रक्षेप्य ज़मीन के स्तर से 20 m/s की गति से, क्षैतिज से 30° के कोण पर छोड़ा जाता है (g = 10 m/s², वायु प्रतिरोध नहीं)। इसकी अधिकतम ऊँचाई क्या है? A) 2.5 m B) 5.0 m C) 7.5 m D) 10.0 m E) 12.5 m F) 15.0 m G) 17.3 m H) 20.0 m I) 3.5 m J) 8.7 m
समाधान
v_y = v·sin30° = 20 × 0.5 = 10 m/s; h_max = v_y² / (2g) = 10² / (2 × 10) = 5.0 m → B
व्याख्या
उच्चतम बिंदु पर ऊर्ध्वाधर वेग शून्य होता है, इसलिए h_max = v_y²/(2g) जहाँ v_y = v·sin30°; ऊँचाई केवल ऊर्ध्वाधर घटक से तय होती है। MMLU-Pro चुने गए अक्षर का सही उत्तर कुंजी से यथार्थ मिलान करके अंक देता है (इसके 10 विकल्पों पर accuracy)।