벤치마크 · multimodal
Video-MME
Video-MME는 멀티모달 LLM의 동영상 이해 능력을 짧은·중간·긴 영상에 걸쳐 평가하는 종합 벤치마크입니다. 성능은 객관식 정확도로 표현되며, 6개 시각 도메인에 걸친 900개 영상(총 254시간)에 대한 사람이 주석한 2,700개 문항으로 측정합니다.
자세히 보기
- 예시
- 모델은 동영상 클립을 시청하고(선택적으로 자막·오디오 트랙 포함) 시간에 걸친 시각 내용을 추론해야 하는 4지 선다형 문항에 답합니다. 예를 들어 중간 길이의 스포츠 클립에서 사건이 일어나는 순서를 파악하는 과제입니다.
- 채점 방식
- 지표는 정확도로, 4지 선다형 문항 중 올바르게 답한 비율입니다. 결과는 보통 자막 없이와 자막 포함 두 가지로 보고되며, 영상 길이(짧음/중간/긺)와 도메인별로 나눈 뒤 전체 수치로 평균냅니다.
- 검증 방식
- 모델이 고른 문자(A/B/C/D)를 출력에서 파싱해 전문가가 주석한 정답과 정확 일치로 비교하며, 맞힌 비율이 곧 정확도입니다. 모든 영상과 문항은 데이터 유출을 최소화하기 위해 수작업으로 수집·주석되므로, 공개 리더보드에서 수치를 비교할 수 있습니다.
- 왜 중요한가
- 실제 영상을 대상으로 넓은 길이 범위(최대 약 1시간)와 다양한 도메인에 걸쳐, 여러 모달리티(프레임·자막·오디오)를 사용해 멀티모달 LLM을 평가한 최초의 종합 벤치마크로, 단일 프레임 인식이 아니라 진정한 시간적 추론과 긴 영상 이해 능력을 드러냅니다.
예제 풀이
문제
'지식' 도메인의 중간 길이(~10분) 클립이 자막 트랙과 함께 제공됩니다. 문제: '설명된 기법이 널리 채택된 주된 이유로 발표자가 제시한 것은 무엇인가?' 선택지: A) 다른 방법보다 저렴했다; B) 특별한 교육이 필요 없었다; C) 더 일관된 결과를 냈다; D) 법으로 의무화되었다. (벤치마크 형식을 따른 예시 문항입니다.)
해답
화면 영상과 자막·오디오 해설을 결합하고, 클립이 뒷받침하지 않는 세 선택지를 배제한 뒤 뒷받침되는 하나를 고릅니다. 최종 답: C.
풀이
Video-MME 문항은 4지 선다에 정답이 하나뿐이므로 정확히 한 선택지(C)만 클립의 근거와 일치합니다. 채점은 고른 문자와 전문가 정답 라벨의 정확 일치로 이루어지며, 정확도(정답 ÷ 전체)로 산출됩니다.
이 벤치마크에 대해 아직 검증된 점수가 없습니다.