Benchmark · general
MMLU-Pro
MMLU-Pro هو خلَف أصعب وأكثر تركيزًا على الاستدلال لاختبار MMLU، ويقيس معرفة النموذج وقدرته على حل المسائل عبر العديد من التخصصات الأكاديمية من خلال أسئلة اختيار من متعدد تضم 10 خيارات للإجابة في كل سؤال. تُعرض النتيجة كنسبة مئوية من الدقة — أي نسبة الأسئلة المُجاب عنها بشكل صحيح.
اقرأ المزيد
- مثال
- المهمة النموذجية هي سؤال اختيار من متعدد من مجال مثل الرياضيات أو الفيزياء أو القانون أو الهندسة يتطلب عدة خطوات استدلال، حيث يجب على النموذج اختيار الإجابة الصحيحة الوحيدة من بين 10 خيارات (مقابل 4 في MMLU الأصلي).
- طريقة التقييم
- المقياس هو الدقة (accuracy): النسبة المئوية للأسئلة التي يختار فيها النموذج الخيار الصحيح، وتُحسب بقسمة عدد الإجابات الصحيحة على إجمالي عدد الأسئلة.
- التحقق
- تُصحَّح كل إجابة تلقائيًا عبر المطابقة التامة (exact match) بين الخيار الذي اختاره النموذج والتسمية الصحيحة المعروفة، دون الحاجة إلى تقييم بشري.
- لماذا يهم
- لأن النماذج الرائدة كانت قد أشبعت اختبار MMLU الأصلي تقريبًا، فإن الأسئلة الأصعب و10 خيارات في MMLU-Pro تجعله أكثر تمييزًا وأكثر حساسية للاستدلال الحقيقي، مما يوفّر مؤشرًا أوضح على التقدّم.
مثال محلول
المهمة
MMLU-Pro (فيزياء، 10 خيارات). يُطلَق مقذوف من مستوى الأرض بسرعة 20 m/s وبزاوية 30° فوق الأفق (g = 10 m/s²، بدون مقاومة هواء). ما أقصى ارتفاع يبلغه؟ A) 2.5 m B) 5.0 m C) 7.5 m D) 10.0 m E) 12.5 m F) 15.0 m G) 17.3 m H) 20.0 m I) 3.5 m J) 8.7 m
الحل
v_y = v·sin30° = 20 × 0.5 = 10 m/s; h_max = v_y² / (2g) = 10² / (2 × 10) = 5.0 m → B
الشرح
عند أعلى نقطة تكون السرعة الرأسية صفرًا، لذا h_max = v_y²/(2g) حيث v_y = v·sin30°؛ المركبة الرأسية وحدها تحدد الارتفاع. يقيّم MMLU-Pro بالمطابقة التامة للحرف المختار مع مفتاح الإجابة الصحيح (accuracy على خياراته العشرة).