연구자들은 Vision-Language Models의 다국어 문서 파싱 성능을 평가하기 위해 설계된 대규모 벤치마크인 MORE를 소개합니다. 이 데이터셋은 모델 지원 및 인간 정제 어노테이션 파이프라인을 통해 실제 문서에서 샘플을 수집하여 저자원 언어의 정답 부재 문제를 해결합니다.

  • 149개 언어를 커버하여 지금까지 가장 언어적으로 다양한 벤치마크입니다.
  • plain text를 넘어 코드 블록, 테이블, 카탈로그와 같은 구조적 요소를 평가에 포함하도록 확장되었습니다.
  • 최첨단 모델을 사용하여 롱테일 언어에 대한 새로운 성능 기준선을 확립했습니다.

이 벤치마크는 기존 도구가 주로 영어와 중국어와 같은 고자원 언어에 집중하는 현실적이고 다양한 시나리오에서 모델의 능력을 진단하는 것을 목표로 합니다.