Pesquisadores apresentam o MORE, um benchmark em larga escala projetado para avaliar o desempenho de Vision-Language Models na análise de documentos multilíngues. O conjunto de dados aborda a falta de ground truth para low-resource languages por meio da curadoria de amostras de documentos do mundo real através de um pipeline de anotação assistido por modelos e refinado por humanos.
- Cobre 149 idiomas, tornando-o o benchmark linguisticamente mais diverso até o momento.
- Estende a avaliação além do texto simples para incluir elementos estruturais como blocos de código, tabelas e catálogos.
- Estabelece novas performance baselines para long-tail languages usando modelos state-of-the-art.
O benchmark visa diagnosticar as capacidades do modelo em cenários realistas e diversos, onde as ferramentas existentes focam predominantemente em high-resource languages como inglês e chinês.