벤치마크 · multimodal
MMMU
MMMU(Massive Multi-discipline Multimodal Understanding)는 여러 학문 분야에 걸쳐 이미지와 텍스트를 결합한 대학 수준의 문제에 모델이 답할 수 있는지를 평가합니다. 결과는 정답률(퍼센트)로 보고됩니다.
자세히 보기
- 예시
- 한 문제에서 화학 도표, 그래프, 의료 영상 등이 텍스트와 함께 제시되고, 모델은 이를 추론하여 정답을 골라야 합니다. 대학 시험에 나올 법한 문항입니다.
- 채점 방식
- 각 문제는 정답 또는 오답으로 채점되며, 점수는 맞힌 문제의 비율(정답률)입니다.
- 검증 방식
- 답은 기준 정답과의 정확 일치(exact match)로 자동 검증되며(대부분 객관식, 일부 짧은 주관식), 사람의 평가가 필요하지 않습니다.
- 왜 중요한가
- 수십 개 과목에 걸쳐 이미지와 텍스트에 대한 전문가·대학 수준의 추론을 측정하므로, 텍스트만 다루는 능력이 아니라 진정한 멀티모달 이해력을 엄격하게 검증합니다.
예제 풀이
MMMU(Massive Multi-discipline Multimodal Understanding)는 텍스트와 이미지(도표, 차트, 화학 구조, 의료 영상 등)를 결합한 대학 수준의 문제를 여섯 개 분야에 걸쳐 출제하므로, 모델이 답하려면 그림을 실제로 “읽어야” 한다. 대표적인 Science 문제: 첨부된 그림에는 12 V 전지가 두 개의 저항에 직렬로 연결된 회로가 나오고 R1 = 4 Ω, R2 = 2 Ω로 표시되어 있다. 질문은 “전지가 공급하는 전류는 얼마인가?”이며 보기는 (A) 1 A, (B) 2 A, (C) 3 A, (D) 6 A이다. 정답은 (B) 2 A이다. 추론: 직렬 저항은 더해지므로 총 저항은 R = 4 Ω + 2 Ω = 6 Ω이고, Ohm의 법칙에 따라 I = V / R = 12 V / 6 Ω = 2 A가 된다. 이 문제가 “멀티모달”인 이유는 저항 값과 직렬 연결이라는 배치를 텍스트만으로는 알 수 없고 회로도를 읽어야만 얻을 수 있기 때문이다.
이 벤치마크에 대해 아직 검증된 점수가 없습니다.