Benchmark · multimodal
MMMU-Pro
MMMU-Pro هو إصدار معزّز المتانة من معيار MMMU، يقيس الفهم والاستدلال متعدد الوسائط (صورة + نص) على مستوى جامعي عبر ست تخصصات؛ والمقياس هو الدقة في أسئلة الاختيار من متعدد.
اقرأ المزيد
- مثال
- يجمع سؤال في أحد التخصصات بين صورة — مخطط أو رسم بياني أو بنية كيميائية أو صورة طبية — وسؤال بمستوى جامعي وحتى 10 خيارات للإجابة؛ وفي وضع الرؤية فقط (vision-only) يكون السؤال بأكمله وخياراته مضمَّنة داخل لقطة شاشة أو صورة فوتوغرافية، بحيث يتعيّن على النموذج قراءة النص من الصورة نفسها.
- طريقة التقييم
- الدقة: يُطابَق الخيار الذي اختاره النموذج مطابقةً تامة مع مفتاح الإجابة المرجعي، والدرجة هي نسبة الأسئلة المُجابة بشكل صحيح. تُوسَّع الخيارات المرشحة من 4 إلى 10 للحدّ من التخمين العشوائي، والدرجة الإجمالية لـ MMMU-Pro هي متوسط وضعَي Standard (10 خيارات) وVision (إدخال بالصورة) (يُستخدم عادةً الاستدلال المتسلسل Chain-of-Thought).
- التحقق
- كل سؤال هو اختيار من متعدد بإجابة صحيحة واحدة، لذا فالتقييم آلي: يُستخرج الخيار النهائي المختار من مُخرَجات النموذج (غالبًا مع سلسلة استدلال) ويُقارَن مطابقةً تامة مع الإجابة المرجعية. المتانة مدمجة في البيانات — تُستبعَد الأسئلة التي تستطيع النماذج النصية فقط الإجابة عنها، ويُرفَع عدد الخيارات إلى 10 — بحيث تعكس الدرجة المرتفعة استدلالًا متعدد الوسائط حقيقيًا، لا اختصارات نصية أو تخمينات محظوظة.
- لماذا يهم
- كان MMMU الأصلي يضخّم الدرجات لأن النماذج كانت تستطيع استغلال اختصارات نصية فقط أو التخمين بين أربعة خيارات؛ ويزيل MMMU-Pro كليهما، فتنخفض الدقة المقيسة بشدة وتفصل بشكل أفضل بين النماذج التي تدمج الرؤية والنص فعليًا، مما يجعله مقياسًا أكثر صدقًا للقدرة متعددة الوسائط على مستوى الخبراء.
مثال محلول
المهمة
سؤال تمثيلي في العلوم (الفيزياء) بصيغة MMMU-Pro. [صورة: كتلة على مستوى مائل عديم الاحتكاك بزاوية θ = 30°.] السؤال: ما مقدار تسارع الكتلة على امتداد المستوى المائل؟ الخيارات (10): (A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s². في وضع الرؤية فقط، يظهر هذا النص بأكمله مضمَّنًا داخل لقطة شاشة.
الحل
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
الشرح
على مستوى مائل عديم الاحتكاك، القوة الوحيدة المؤثرة على امتداد السطح هي مركبة الجاذبية mg·sin θ، لذا يكون التسارع g·sin θ ولا يعتمد على كتلة الكتلة؛ وg·sin 30° = 4.9 m/s²، وهو ما يوافق الخيار (E). يقارن التقييم حرف الخيار المستخرَج مع مفتاح الإجابة المرجعي مطابقةً تامة.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.