벤치마크 · multimodal
CharXiv
CharXiv는 arXiv 논문에서 가져온 실제 과학 차트를 멀티모달 LLM이 얼마나 잘 이해하는지 평가하는 벤치마크로, 서술형 질문(차트의 기본 요소 읽기)과 추론 질문(값 비교·분석)에 대해 정확도를 따로 보고합니다.
자세히 보기
- 예시
- 차트 이미지가 주어지면, 서술형 과제는 제목 읽기, 범례 항목 수 세기, 눈금 레이블 말하기 등을 요구하고, 추론 과제는 그려진 두 계열을 비교해 특정 지점에서 어느 쪽이 더 큰지 답하도록 하는데, 모두 차트의 시각 정보만으로 답할 수 있습니다.
- 채점 방식
- 각 질문에는 짧은 자유 형식 답을 합니다. GPT-4o가 자동 채점자로서 모델의 답을 추출하고, 사람이 검증한 정답과 대조해 정답/오답의 이진 점수를 매깁니다. 점수는 정확도(정답 비율)이며, 서술형과 추론 하위집합에 대해 따로 보고됩니다.
- 검증 방식
- 2,323개의 차트와 그 질문 및 정답은 모두 사람 전문가가 손수 선별하고 검증했습니다. 응답은 GPT-4o 채점자가 참조 정답과 일치한다고 판단할 때만 정답으로 인정되며, 보고된 사람 정확도(추론 약 80.5%)가 참조 상한 역할을 합니다.
- 왜 중요한가
- 차트 읽기는 과학 논문과 재무 보고서에 MLLM을 적용하는 데 핵심이지만, 이전 벤치마크는 단순한 템플릿 기반 차트를 써서 진전을 과장했습니다. CharXiv의 자연스럽고 다양한 arXiv 차트는 최고 모델과 사람 사이의 큰 격차를 드러내어, 시각 추론에 대한 까다롭고 현실적인 시험이 됩니다.
예제 풀이
문제
[추론 예시 항목] 제목이 「Validation Accuracy by Model Size」인 그룹화된 막대 차트. X축: 모델 크기(7B, 13B, 70B), Y축: 정확도(%). 각 그룹에 막대 두 개, Dataset A와 Dataset B: 7B → A=61, B=58; 13B → A=68, B=62; 70B → A=79, B=71. 질문(짧게 답하세요): Dataset A와 Dataset B의 정확도 차이가 가장 큰 모델 크기는 무엇입니까?
해답
그룹별 차이 A − B: 7B → 61 − 58 = 3; 13B → 68 − 62 = 6; 70B → 79 − 71 = 8. 최대 = 8 → 답: 70B.
풀이
이것은 추론 질문입니다. 단일 값을 추출하는 것이 아니라 막대 여섯 개의 높이를 모두 읽고 그 차이를 비교해야 하기 때문입니다. GPT-4o 채점자는 짧은 답을 정답 「70B」과 대조해 이진 점수를 매기고, 이는 추론 정확도 지표에 반영됩니다.
이 벤치마크에 대해 아직 검증된 점수가 없습니다.