벤치마크 · multimodal

MathVista

0 결과 0 모델

MathVista는 시각 입력(그림, 차트, 기하 도형, 과학 그래프)에 대한 수학적 추론을 평가하는 멀티모달 벤치마크입니다. 성능은 accuracy(정확도), 즉 올바르게 답한 문항의 비율로 보고됩니다.

예시: 전형적인 문항은 이미지(기하 도형, 함수 그래프, 막대 차트, 표 등)와, 세밀한 시각적 세부 정보를 읽은 뒤 수학적으로 추론해야만 풀 수 있는 질문을 짝짓습니다. 예를 들어 라벨이 붙은 도형에서 길이를 계산하거나 차트에서 값을 읽는 식입니다. 문항은 객관식이거나 자유 응답(정수, 소수, 목록)입니다.
채점 방식: 지표는 accuracy(정확도)입니다. 답이 자유 응답이거나 객관식이므로, 먼저 LLM이 모델의 전체 응답에서 짧은 최종 답을 추출하고, 이를 정규화하여 정답과 정확 일치로 비교합니다. accuracy는 맞힌 문항의 비율이며, 과제 유형과 추론 유형별로 나누어서도 보고됩니다.
검증 방식: 평가는 두 분할을 사용합니다. 로컬 채점을 위해 정답이 공개된 1,000문항의 testmini 세트와, 정답이 비공개인 약 5,141문항의 더 큰 test 세트로, 후자는 공식 평가 리더보드에 예측을 제출해야만 채점됩니다. 답 추출과 정확 일치 파이프라인이 인정할 때에만 결과가 정답으로 집계됩니다.
왜 중요한가: 텍스트 전용 수학 벤치마크와 일반적인 시각 질의응답 벤치마크는 각자 MathVista가 겨냥하는 교집합, 즉 진정한 시각적 이해 없이는 불가능한 수학을 놓칩니다. MathVista는 모델과 인간 사이의 큰 격차를 드러냈고, 멀티모달 기반 모델의 시각적 수학 추론을 재는 표준 잣대가 되었습니다.

예제 풀이

문제

이미지: 두 직각변에 각각 6과 8이라고 라벨이 붙은 직각삼각형. 질문: 「그림에서 빗변의 길이는 얼마인가?」 답 유형: 자유 응답 정수.

해답

피타고라스 정리에 의해, 빗변 c = √(6² + 8²) = √(36 + 64) = √100 = 10. 최종 답: 10.

풀이

풀이하려면 도형에서 라벨이 붙은 변의 길이를 읽고(시각적 이해) 피타고라스 정리를 적용해야 합니다(수학적 추론). 채점: LLM이 모델 응답에서 짧은 답 「10」을 추출하고, 정규화한 정확 일치로 정답과 대조합니다.

이 벤치마크에 대해 아직 검증된 점수가 없습니다.