Benchmark · multimodal
Video-MME
Video-MME هو معيار تقييم شامل يقيس قدرة نماذج اللغة الكبيرة متعددة الوسائط على فهم الفيديو: القصير والمتوسط والطويل. يُعبَّر عن الأداء بدقة الاختيار من متعدد على 2,700 سؤال موسوم بشريًا عبر 900 فيديو (254 ساعة) تغطي ستة مجالات بصرية.
اقرأ المزيد
- مثال
- يشاهد النموذج مقطع فيديو (اختياريًا مع مساري الترجمة والصوت) ويجيب عن سؤال اختيار من متعدد بأربعة خيارات يتطلب الاستدلال على المحتوى البصري عبر الزمن — مثل تحديد ترتيب وقوع الأحداث في مقطع رياضي متوسط الطول.
- طريقة التقييم
- المقياس هو الدقة: نسبة أسئلة الاختيار من أربعة خيارات المُجاب عنها بشكل صحيح. تُذكر النتائج عادةً بدون ترجمة ومعها، مفصّلة حسب مدة الفيديو (قصير/متوسط/طويل) والمجال، ثم تُحسب كمتوسط في رقم إجمالي.
- التحقق
- يُستخرج الحرف الذي اختاره النموذج (A/B/C/D) من مخرجاته ويُقارن بمطابقة تامة مع الإجابة المرجعية الموسومة من الخبراء؛ ونسبة الإجابات الصحيحة هي الدقة. تُجمع كل مقاطع الفيديو والأسئلة وتُوسم يدويًا لتقليل تسرّب البيانات، فتكون الأرقام قابلة للمقارنة على لوحة الصدارة العامة.
- لماذا يهم
- كان أول معيار شامل يختبر نماذج اللغة متعددة الوسائط على مقاطع فيديو حقيقية بمدى واسع من المدد (حتى نحو ساعة) ومجالات متنوعة، مستخدمًا وسائط متعددة (الإطارات والترجمة والصوت) — كاشفًا عن استدلال زمني حقيقي وفهم للفيديو الطويل بدلًا من التعرّف على إطار واحد.
مثال محلول
المهمة
يُقدَّم مقطع متوسط الطول (~10 دقائق) من مجال «المعرفة» مع مسار الترجمة الخاص به. السؤال: «ما السبب الرئيسي الذي يذكره المقدِّم لاعتماد التقنية الموصوفة على نطاق واسع؟» الخيارات: A) كانت أرخص من البدائل؛ B) لم تتطلب تدريبًا خاصًا؛ C) كانت تُنتج نتائج أكثر اتساقًا؛ D) كانت مفروضة قانونًا. (عنصر توضيحي بصيغة المعيار.)
الحل
اجمع بين ما يظهر على الشاشة وسرد الترجمة/الصوت، واستبعد الخيارات الثلاثة التي لا يدعمها المقطع، واختر الخيار الذي يدعمه. الإجابة النهائية: C.
الشرح
أسئلة Video-MME اختيار من أربعة خيارات بإجابة صحيحة واحدة، لذا يتطابق خيار واحد بالضبط (C) مع أدلة المقطع؛ ويكون التصحيح بمطابقة الحرف تمامًا مع التسمية المرجعية للخبراء، ويُحتسب كدقة (الصحيح ÷ الإجمالي).
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.