Benchmark · multimodal

MMMU

0 نتائج 0 نماذج

يختبر MMMU (Massive Multi-discipline Multimodal Understanding) ما إذا كان النموذج قادرًا على الإجابة عن أسئلة بمستوى جامعي تجمع بين الصور والنصوص في العديد من التخصصات الأكاديمية. وتُعرض النتيجة كنسبة مئوية من الإجابات الصحيحة (الدقة).

اقرأ المزيد
مثال
قد يعرض السؤال مخططًا كيميائيًا أو رسمًا بيانيًا أو صورة طبية مع نص، ويُطلب من النموذج الاستدلال واختيار الإجابة الصحيحة، تمامًا كسؤال في امتحان جامعي.
طريقة التقييم
يُصحَّح كل سؤال بأنه صحيح أو خطأ، والدرجة هي النسبة المئوية للأسئلة التي أُجيب عنها بشكل صحيح (الدقة).
التحقق
تُتحقَّق الإجابات تلقائيًا عبر المطابقة التامة (exact match) مع الإجابة المرجعية (معظمها اختيار من متعدد، وبعضها إجابات مفتوحة قصيرة)، دون الحاجة إلى تقييم بشري.
لماذا يهم
يقيس استدلالًا خبيرًا بمستوى جامعي على الصور والنصوص عبر عشرات المواد، مما يجعله اختبارًا صارمًا للفهم متعدد الوسائط الحقيقي وليس مجرد مهارة نصية.
مثال محلول
يطرح MMMU (Massive Multi-discipline Multimodal Understanding) أسئلة بمستوى جامعي تجمع بين نص وصورة — مخطط أو رسم بياني أو بنية كيميائية أو صورة طبية — عبر ست تخصصات، بحيث يتعيّن على النموذج أن «يقرأ» الصورة فعليًا كي يجيب. مثال تمثيلي من Science: يُظهر الشكل المرفق دائرة فيها بطارية 12 V موصولة بمقاومتين على التوالي، مكتوب عليهما R1 = 4 Ω و R2 = 2 Ω. السؤال: «ما التيار الذي تزوّده البطارية؟»، والخيارات (A) 1 A و(B) 2 A و(C) 3 A و(D) 6 A. الإجابة الصحيحة هي (B) 2 A. الاستدلال: المقاومات على التوالي تُجمع، فتكون المقاومة الكلية R = 4 Ω + 2 Ω = 6 Ω، ويعطي قانون Ohm التيار I = V / R = 12 V / 6 Ω = 2 A. هذا السؤال «متعدد الوسائط» لأن قيم المقاومات وترتيبها على التوالي لا يمكن الحصول عليهما إلا بقراءة المخطط، وليس من النص وحده.

لا توجد درجات موثّقة لهذا الـ Benchmark بعد.