研究者らは、Vision-Language Modelsの多言語文書解析におけるパフォーマンスを評価するために設計された大規模ベンチマークであるMOREを紹介している。このデータセットは、モデル支援型かつ人間による精査のアノテーションパイプラインを通じて実世界の文書からサンプルを収集することで、低資源言語の正解ラベル不足という課題に対処している。

  • 149言語をカバーしており、これまでにない最も言語的に多様なベンチマークである。
  • plain textだけでなく、コードブロック、テーブル、カタログなどの構造的要素を含む評価に拡張されている。
  • 最先端モデルを用いて、ロングテール言語に対する新しいパフォーマンスのベースラインを確立している。

このベンチマークは、既存のツールが主に英語や中国語といった高資源言語に焦点を当てている現実的で多様なシナリオにおいて、モデルの能力を診断することを目的としている。