Benchmark · multimodal
MMMU
يختبر MMMU (Massive Multi-discipline Multimodal Understanding) ما إذا كان النموذج قادرًا على الإجابة عن أسئلة بمستوى جامعي تجمع بين الصور والنصوص في العديد من التخصصات الأكاديمية. وتُعرض النتيجة كنسبة مئوية من الإجابات الصحيحة (الدقة).
اقرأ المزيد
- مثال
- قد يعرض السؤال مخططًا كيميائيًا أو رسمًا بيانيًا أو صورة طبية مع نص، ويُطلب من النموذج الاستدلال واختيار الإجابة الصحيحة، تمامًا كسؤال في امتحان جامعي.
- طريقة التقييم
- يُصحَّح كل سؤال بأنه صحيح أو خطأ، والدرجة هي النسبة المئوية للأسئلة التي أُجيب عنها بشكل صحيح (الدقة).
- التحقق
- تُتحقَّق الإجابات تلقائيًا عبر المطابقة التامة (exact match) مع الإجابة المرجعية (معظمها اختيار من متعدد، وبعضها إجابات مفتوحة قصيرة)، دون الحاجة إلى تقييم بشري.
- لماذا يهم
- يقيس استدلالًا خبيرًا بمستوى جامعي على الصور والنصوص عبر عشرات المواد، مما يجعله اختبارًا صارمًا للفهم متعدد الوسائط الحقيقي وليس مجرد مهارة نصية.
مثال محلول
المهمة
(صورة: مخطط دائرة كهربائية — بطارية 12 V في حلقة واحدة مع مقاومتين موصولتين على التوالي، R1 = 4 Ω و R2 = 8 Ω.) ما مقدار التيار المار عبر المقاومة R2؟ الخيارات: (A) 1.0 A (B) 1.5 A (C) 2.0 A (D) 3.0 A.
الحل
R_total = R1 + R2 = 4 Ω + 8 Ω = 12 Ω; I = V / R_total = 12 V / 12 Ω = 1.0 A (series ⇒ same current in R2). Answer: (A).
الشرح
في الدائرة المتسلسلة يمر التيار نفسه عبر كل عنصر، والمقاومة الكلية تساوي مجموع الأجزاء، لذا I = 12/12 = 1.0 A. يقيّم MMMU الإجابة بالمطابقة التامة بين حرف الخيار المتوقع والإجابة الصحيحة الوحيدة.
| التاريخ | النموذج | النتيجة | المصدر |
|---|---|---|---|
| 2025-08-07 | GPT-5 | 84.2% | OpenAI تطرح GPT-5 بتوجيه موحد واستدلال على مستوى الخبراء |
| 2025-08-07 | GPT-5 | 84.2% | أوبن إيه آي تطلق جي بي تي-5 بمنطق تكيفي وهندسة معمارية موحدة |
| 2025-04-17 | o4-mini | 81.6% | OpenAI تُطلق o4-mini، نموذج استدلالي متعدد الوسائط أسرع وأرخص |
| 2025-04-15 | Gemini 2.0 Flash | 71.7% | جوجل تطلق Gemini 2.0 Flash بجودة محسّنة وسرعة ضعف سرعة Gemini 1.5 Pro |
| 2025-03-26 | Gemini 2.5 Pro | 81.7% | جوجل تطلق نموذج التفكير التجريبي Gemini 2.5 Pro بسياق يتكون من مليون رمز |
| 2024-05-13 | GPT-4o | 69.1% | OpenAI |
| 2024-03-04 | Claude 3 Opus | 59.4% | Anthropic |
| 2023-11-27 | GPT-4V | 56.8% | MMMU paper |