Benchmark · multimodal
MMMU-Pro
MMMU-Pro 是 MMMU 基准的稳健性增强版本,用于衡量六大学科领域内大学水平的多模态(图像 + 文本)理解与推理能力;评测指标是多项选择题的准确率。
了解更多
- 示例
- 一道学科题目将一张图像——示意图、图表、化学结构式或医学影像——与一道大学水平的问题以及最多 10 个答案选项配对;在纯视觉输入设置下,整道题目及其选项都嵌入在一张截图或照片中,因此模型必须自行从图像中读出文字。
- 评分方式
- 准确率:将模型所选选项与标准答案键进行精确匹配,得分为答对题目的百分比。候选选项从 4 个扩充到 10 个,以削弱随机猜测的作用;MMMU-Pro 的总分是 Standard(10 选项)设置与 Vision(图像输入)设置的平均值(通常采用思维链 Chain-of-Thought 提示)。
- 验证方式
- 每道题都是单一正确答案的多项选择题,因此评分是自动的:从模型(通常带思维链)的输出中解析出最终所选选项,并与参考答案进行精确匹配比较。稳健性被内建进数据中——纯文本模型能够回答的问题被过滤掉,选项数量提高到 10 个——因此高分反映的是真正的多模态推理,而非文本捷径或侥幸猜中。
- 为何重要
- 原始的 MMMU 会虚高得分,因为模型可以利用纯文本捷径,或在四个选项中猜测;MMMU-Pro 同时消除了这两点,因此测得的准确率大幅下降,并能更好地区分那些真正融合视觉与文本的模型,使其成为对专家级多模态能力更诚实的衡量标准。
示例解析
任务
MMMU-Pro 格式下一道具有代表性的科学(物理)题目。[图像:一个物块位于倾角 θ = 30° 的无摩擦斜面上。] 问题:该物块沿斜面方向的加速度大小是多少?选项(10 个):(A) 0 m/s² (B) 1.6 m/s² (C) 2.5 m/s² (D) 3.3 m/s² (E) 4.9 m/s² (F) 5.7 m/s² (G) 6.9 m/s² (H) 7.4 m/s² (I) 8.5 m/s² (J) 9.8 m/s²。在纯视觉输入设置下,整段题面都嵌入在一张截图中。
解答
a = g·sin θ = 9.8 × sin 30° = 9.8 × 0.5 = 4.9 m/s² → (E)
解析
在无摩擦斜面上,沿表面方向唯一作用的力是重力分量 mg·sin θ,因此加速度为 g·sin θ,与物块质量无关;g·sin 30° = 4.9 m/s²,对应选项 (E)。评分将解析出的选项字母与标准答案键做精确匹配比较。
| 日期 | 模型 | 得分 | 来源 |
|---|---|---|---|
| 2026-08-03 | Inkling-Small | 74.0% | Thinking Machines Lab 发布 Inkling-Small，一款拥有 276B 开放权重的多模态 MoE 模型 |
| 2026-07-17 | Kimi K3 | 81.6% | 月之暗面发布开源 Kimi K3，拥有 2.8T 参数和 100 万上下文的 MoE 模型 |
| 2026-03-06 | Claude Opus 4.6 | 70.6% | Anthropic发布Claude Opus 4.6系统卡，详述能力与安全评估 |
| 2026-02-05 | Claude Opus 4.6 | 73.9% | Anthropic 发布 Claude Opus 4.6，具备 1M 上下文窗口和智能体改进 |
| 2026-02-05 | Claude Opus 4.6 | 70.6% | Anthropic发布Claude Opus 4.6系统卡，详述能力与安全评估 |
| 2025-11-18 | Gemini 3 Pro | 81.0% | Google 发布 Gemini 3 Pro，具备最先进的推理和多模态能力 |
| 2025-11-18 | Gemini 3 Pro | 81.0% | Google 发布 Gemini 3 Pro，具备最先进的推理和多模态能力 |
| 2025-05-20 | Gemini 2.5 Pro Deep Think | 84.0% | Google DeepMind 更新 Gemini 2.5，引入深度思考、音频输出和计算机操作功能 |
| 2024-09-12 | o1 | 78.2% | OpenAI发布o1-preview，一款在数学和科学基准测试中超越人类专家的推理模型 |
| 2024-06-20 | Claude 3.5 Sonnet | 68.3% | Anthropic发布Claude 3.5 Sonnet附录，提升编码与视觉基准表现 |
| 2023-12-06 | Gemini Ultra | 59.4% | Google推出Gemini 1.0，其最大的多模态AI模型 |