Бенчмарк · multimodal

Video-MME

0 результатов 0 моделей

Video-MME — это комплексный бенчмарк для оценки мультимодальных LLM в понимании видео: коротких, средних и длинных. Результат выражается как точность на вопросах с выбором ответа — 2 700 размеченных вручную вопросов к 900 видео (254 часа) из шести визуальных доменов.

Подробнее

Пример: Модель смотрит видеофрагмент (при желании — с дорожками субтитров и аудио) и отвечает на вопрос с четырьмя вариантами ответа, требующий рассуждения о визуальном содержании во времени, — например, определить порядок событий в спортивном ролике средней длины.
Метрика: Метрика — точность (accuracy): доля вопросов с четырьмя вариантами, на которые дан верный ответ. Результаты обычно приводят и без субтитров, и с ними, с разбивкой по длительности видео (короткие/средние/длинные) и доменам, а затем усредняют в общий показатель.
Приёмка: Выбранная моделью буква (A/B/C/D) извлекается из её вывода и сравнивается точным совпадением с эталонным ответом, размеченным экспертами; доля верных и есть точность. Все видео и вопросы собраны и размечены вручную, чтобы минимизировать утечку данных, поэтому цифры сопоставимы в публичном лидерборде.
Почему важно: Это был первый комплексный бенчмарк, проверяющий мультимодальные LLM на реальных видео широкого диапазона длительности (до примерно часа) и в разнообразных доменах с использованием нескольких модальностей (кадры, субтитры, аудио) — выявляя настоящее временно́е рассуждение и понимание длинных видео, а не распознавание по одному кадру.

Разбор примера

Задача

Даётся фрагмент средней длины (~10 мин) из домена «Знания» вместе с дорожкой субтитров. Вопрос: «Какую главную причину широкого распространения описанной методики называет ведущий?» Варианты: A) Она была дешевле альтернатив; B) Она не требовала специальной подготовки; C) Она давала более стабильные результаты; D) Она была предписана законом. (Иллюстративный пример в формате бенчмарка.)

Решение

Сопоставьте визуальный ряд с субтитрами/аудиокомментарием, отбросьте три варианта, не подтверждённые роликом, и выберите подтверждённый. Итоговый ответ: C.

Разбор

Вопросы Video-MME — с одним верным ответом из четырёх, поэтому ровно один вариант (C) соответствует свидетельствам из ролика; оценка — точное совпадение буквы с эталонной меткой экспертов, метрика accuracy (верные ÷ всего).

По этому бенчмарку пока нет проверенных результатов.