Benchmark · multimodal
Video-MME
Video-MME 是一个全面的基准，用于评测多模态大语言模型在短、中、长视频理解上的能力。成绩以多选题准确率表示，覆盖 900 个视频（共 254 小时）、六大视觉领域上人工标注的 2,700 道题目。
了解更多
- 示例
- 模型观看一段视频（可选配字幕和音频轨道），回答一道四选一的多选题，需要对随时间变化的视觉内容进行推理——例如判断一段中等长度的体育视频中各事件发生的先后顺序。
- 评分方式
- 指标为准确率：四选一题目答对的百分比。成绩通常同时给出「不带字幕」和「带字幕」两种，并按视频长度（短/中/长）和领域细分，最后汇总为一个总体数值。
- 验证方式
- 从模型输出中解析出所选字母（A/B/C/D），与专家标注的标准答案做精确匹配；答对比例即为准确率。所有视频和题目均由人工采集与标注，以尽量减少数据泄漏，因此各方成绩可在公开排行榜上比较。
- 为何重要
- 它是首个在真实视频上、覆盖大跨度时长（最长约一小时）和多样领域、并利用多种模态（帧、字幕、音频）来评测多模态大语言模型的全面基准，能揭示模型真正的时序推理和长视频理解能力，而非仅靠单帧识别。
示例解析
任务
提供一段来自「知识」领域的中等长度（约 10 分钟）视频，并附带字幕轨道。问题：「主讲人给出的、这项所述技术被广泛采用的主要原因是什么？」选项：A) 它比其他方案更便宜；B) 它不需要特殊培训；C) 它能产生更稳定的结果；D) 它是法律强制要求的。（此为符合基准格式的示意题目。）
解答
将画面内容与字幕/音频解说结合，排除视频未支持的三个选项，选出被支持的那个。最终答案：C。
解析
Video-MME 的题目为四选一、仅一个正确答案，因此恰好有一个选项（C）与视频证据相符；评分为所选字母与专家标准答案的精确匹配，按准确率计分（答对数 ÷ 总题数）。
该 benchmark 暂无已验证的得分。