Benchmark · multimodal
LongVideoBench
LongVideoBench هو معيار أسئلة وأجوبة متعدّد الخيارات يقيس مدى قدرة النماذج متعددة الوسائط على فهم مقاطع الفيديو الطويلة المصحوبة بترجمة نصية (حتى ساعة واحدة)، والمقدَّمة على هيئة إطارات ونصوص متداخلة. يُقاس الأداء بالدقة (accuracy): النسبة المئوية للأسئلة التي يختار فيها النموذج الخيار الصحيح.
اقرأ المزيد
- مثال
- سؤال من نوع «referring reasoning» (الاستدلال المرجعي) على مقطع فيديو طويل: يتضمّن نصّ السؤال استعلامًا مرجعيًا يشير إلى لحظة محدّدة (مثل «المشهد الذي يلي مباشرةً فتح المقدّم للصندوق الأحمر»)، وعلى النموذج أن يعثر على تلك اللحظة ضمن الإطارات والترجمات المأخوذة كعيّنات ثم يختار الخيار الصحيح لما يحدث فيها.
- طريقة التقييم
- المقياس هو دقّة الاختيار من متعدّد: الدرجة = (الأسئلة المُجابة بصحّة) / (إجمالي الأسئلة). لا يُحتسب السؤال صحيحًا إلا عندما يطابق الخيار الذي اختاره النموذج الخيارَ المرجعي الوحيد. وتُفصَّل النتائج عادةً أيضًا حسب مجموعات المدّة الأربع (8–15 ث، 15–60 ث، 3–10 د، 15–60 د) وحسب فئة السؤال.
- التحقق
- تُقبل الإجابة عندما تطابق علامة الخيار المتوقَّع علامةَ الخيار المرجعي تمامًا. تأتي مجموعة التحقّق (1,337 سؤالًا) مع إجابات علنية بحيث يمكن حساب الدقة محليًا؛ أما إجابات مجموعة الاختبار فمحجوبة وتُقيَّم عبر لوحة الصدارة الرسمية، لذا تستخدم الدرجاتُ المعلَنة علنًا مجموعةَ التحقّق.
- لماذا يهم
- يمكن حلّ معظم معايير الفيديو من بضع إطارات فقط؛ أما تصميم «referring reasoning» في LongVideoBench فيجبر النموذج على تحديد تفاصيل بعينها مدفونة داخل مدخلات متداخلة من فيديو وترجمة تصل إلى ساعة والاستدلال عليها، ما يكشف كيف تتدهور الدقة كلما طال الفيديو ويختبر قدرة حقيقية على الاسترجاع متعدّد الوسائط ذي السياق الطويل.
مثال محلول
المهمة
عنصر تمثيلي. المدخل: إطارات مأخوذة كعيّنات + ترجمة نصية موقّتة من مدوّنة طهي مصوّرة مدّتها ~25 دقيقة. سؤال من نوع referring reasoning:
الاستعلام المرجعي: اللحظة التي يضيف فيها المقدّم الملح إلى المقلاة للمرة الأولى. السؤال: ما المكوّن الذي يضيفه المقدّم مباشرةً بعد تلك اللحظة؟
A) ثوم B) سكر C) بصل مفروم D) زيت زيتون E) فلفل أسود
الحل
حدِّد اللحظة المُشار إليها (أول إضافة للملح) ضمن الإطارات المأخوذة كعيّنات مستعينًا بقرائن الترجمة/الصورة؛ افحص الإطارات التي تليها مباشرةً؛ تعرّف على المكوّن التالي المُضاف. الخيار الصحيح: C) بصل مفروم.
الشرح
يثبّت الاستعلام المرجعي لحظةَ ارتكاز وحيدة، وخيار واحد فقط يطابق ما تُظهره الإطارات التالية فعليًا؛ أما المشتّتات فهي مكوّنات معقولة تظهر في مكان آخر أو لا تظهر إطلاقًا، لذا يفشل التخمين دون استرجاع المقطع الصحيح. التقييم: مطابقة تامّة للحرف المختار مع الخيار المرجعي؛ ويُحتسب العنصر ضمن الدقة الإجمالية.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.