研究人员推出了MORE,这是一个大规模基准测试,旨在评估Vision-Language Models在_multilingual_文档解析方面的性能。该数据集通过模型辅助、人工精修的标注流水线,从真实世界文档中整理样本,解决了_low-resource languages_缺乏_ground truth_的问题。
- 覆盖149种语言,使其成为迄今为止语言学多样性最丰富的基准测试。
- 将评估范围扩展到纯文本之外,包括代码块、表格和目录等结构元素。
- 使用_state-of-the-art_模型为_long-tail languages_建立了新的_performance baselines_。
该基准测试旨在诊断模型在现实、多样化场景中的能力,而现有工具主要关注英语和中文等_high-resource languages_。