Бенчмарк · multimodal

LongVideoBench

0 результатов 0 моделей

LongVideoBench — это бенчмарк вопросов-ответов с выбором варианта, который проверяет, насколько хорошо мультимодальные модели понимают длинные видео с субтитрами (до одного часа), поданные как чередующиеся кадры и текст. Качество измеряется точностью (accuracy) — долей вопросов, на которые модель выбрала верный вариант.

Подробнее

Пример: Вопрос типа «referring reasoning» (ссылающегося рассуждения) по длинному видео: в запросе есть ссылка на конкретный момент (например, «сцена сразу после того, как ведущий открывает красную коробку»), и модель должна найти этот момент среди выбранных кадров и субтитров и выбрать верный вариант о том, что там происходит.
Метрика: Метрика — точность на вопросах с выбором варианта: оценка = (верно отвеченные вопросы) / (всего вопросов). Вопрос засчитывается только если выбранный моделью вариант совпадает с единственным эталонным. Результаты обычно также разбивают по четырём группам длительности (8–15 с, 15–60 с, 3–10 мин, 15–60 мин) и по категориям вопросов.
Приёмка: Ответ принимается, когда метка выбранного варианта точно совпадает с эталонной. Валидационный сплит (1,337 вопросов) поставляется с открытыми ответами, поэтому точность можно посчитать локально; ответы тестового сплита скрыты и оцениваются через официальный лидерборд, поэтому публично сообщаемые результаты используют валидационный сплит.
Почему важно: Большинство видео-бенчмарков решаются по нескольким кадрам; дизайн «referring reasoning» в LongVideoBench заставляет модель находить и осмыслять конкретные детали, спрятанные в часовых чередующихся входах «видео + субтитры», обнажая, как точность падает с ростом длины видео, и проверяя настоящий длинноконтекстный мультимодальный поиск.

Разбор примера

Задача

Представительный пример. Вход: выбранные кадры + субтитры с таймкодами из ~25-минутного кулинарного влога. Вопрос типа referring reasoning: Ссылающийся запрос: момент, когда ведущий впервые добавляет соль на сковороду. Вопрос: какой ингредиент ведущий добавляет сразу после этого момента? A) Чеснок B) Сахар C) Нарезанный лук D) Оливковое масло E) Чёрный перец

Решение

Найти указанный момент (первое добавление соли) среди выбранных кадров по подсказкам из субтитров/изображения; рассмотреть кадры сразу после него; определить следующий добавленный ингредиент. Верный вариант: C) Нарезанный лук.

Разбор

Ссылающийся запрос фиксирует единственный опорный момент, и только один вариант соответствует тому, что реально показано в последующих кадрах; отвлекающие варианты — правдоподобные ингредиенты, которые встречаются в другом месте или отсутствуют, так что угадать без нахождения нужного фрагмента не выйдет. Оценивание: точное совпадение выбранной буквы с эталонным вариантом — пункт идёт в общую точность.

По этому бенчмарку пока нет проверенных результатов.