Benchmark · multimodal
MMMU
MMMU（Massive Multi-discipline Multimodal Understanding）考查模型能否回答涵盖众多学科、同时结合图像与文本的大学水平题目。结果以正确率（百分比）表示。
了解更多
- 示例
- 一道题目可能给出化学示意图、图表或医学影像并配上文字，要求模型进行推理并选出正确答案，就像大学考试中的题目。
- 评分方式
- 每道题判定为对或错，最终得分是答对题目所占的百分比（正确率）。
- 验证方式
- 答案通过与参考答案精确匹配（exact match）自动核对（大多为多项选择，少量为简短开放式回答），无需人工评判。
- 为何重要
- 它衡量的是跨数十个学科、结合图像与文本的大学水平专家级推理，因此是对真正多模态理解能力的严格检验，而不仅仅是纯文本能力。
示例解析
MMMU（Massive Multi-discipline Multimodal Understanding）提出大学水平的题目，把文字与一张图像（示意图、图表、化学结构或医学影像）结合起来，覆盖六个学科，因此模型必须真正“读懂”图像才能作答。一个有代表性的 Science 题目：所附图示展示了一个电路，一节 12 V 电池连接两个串联电阻，标注为 R1 = 4 Ω 和 R2 = 2 Ω。问题：“电池提供的电流是多少？”，选项为 (A) 1 A、(B) 2 A、(C) 3 A、(D) 6 A。正确答案是 (B) 2 A。推理：串联电阻相加，所以总电阻 R = 4 Ω + 2 Ω = 6 Ω，根据 Ohm 定律得 I = V / R = 12 V / 6 Ω = 2 A。这道题是“多模态”的，因为电阻值及其串联方式只能通过读图获得，而不能仅凭文字。
该 benchmark 暂无已验证的得分。