Benchmark · multimodal
MMMU-Pro
MMMU-Pro 是 MMMU 基准的稳健性增强版本,用于衡量六大学科领域内大学水平的多模态(图像 + 文本)理解与推理能力;评测指标是多项选择题的准确率。
了解更多
- 示例
- 一道学科题目将一张图像——示意图、图表、化学结构式或医学影像——与一道大学水平的问题以及最多 10 个答案选项配对;在纯视觉输入设置下,整道题目及其选项都嵌入在一张截图或照片中,因此模型必须自行从图像中读出文字。
- 评分方式
- 准确率:将模型所选选项与标准答案键进行精确匹配,得分为答对题目的百分比。候选选项从 4 个扩充到 10 个,以削弱随机猜测的作用;MMMU-Pro 的总分是 Standard(10 选项)设置与 Vision(图像输入)设置的平均值(通常采用思维链 Chain-of-Thought 提示)。
- 验证方式
- 每道题都是单一正确答案的多项选择题,因此评分是自动的:从模型(通常带思维链)的输出中解析出最终所选选项,并与参考答案进行精确匹配比较。稳健性被内建进数据中——纯文本模型能够回答的问题被过滤掉,选项数量提高到 10 个——因此高分反映的是真正的多模态推理,而非文本捷径或侥幸猜中。
- 为何重要
- 原始的 MMMU 会虚高得分,因为模型可以利用纯文本捷径,或在四个选项中猜测;MMMU-Pro 同时消除了这两点,因此测得的准确率大幅下降,并能更好地区分那些真正融合视觉与文本的模型,使其成为对专家级多模态能力更诚实的衡量标准。
示例解析
任务
MMMU-Pro 格式下一道具有代表性的科学(物理)题目。[图像:一个物块位于倾角 θ = 30° 的无摩擦斜面上。] 问题:该物块沿斜面方向的加速度大小是多少?选项(10 个):(A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s²。在纯视觉输入设置下,整段题面都嵌入在一张截图中。
解答
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
解析
在无摩擦斜面上,沿表面方向唯一作用的力是重力分量 mg·sin θ,因此加速度为 g·sin θ,与物块质量无关;g·sin 30° = 4.9 m/s²,对应选项 (E)。评分将解析出的选项字母与标准答案键做精确匹配比较。
该 benchmark 暂无已验证的得分。