Les chercheurs présentent MORE, un benchmark à grande échelle conçu pour évaluer les performances des Vision-Language Models sur le parsing de documents multilingues. Le dataset comble le manque de ground truth pour les langues peu dotées en collectant des échantillons issus de documents réels via un pipeline d'annotation assisté par modèle et affiné par des humains.
- Couvre 149 langues, ce qui en fait le benchmark le plus diversifié linguistiquement à ce jour.
- Étend l'évaluation au-delà du plain text pour inclure des éléments structurels tels que les blocs de code, les tableaux et les catalogues.
- Établit de nouvelles bases de performance pour les langues à longue traîne en utilisant des modèles de pointe.
Le benchmark vise à diagnostiquer les capacités des modèles dans des scénarios réalistes et diversifiés où les outils existants se concentrent principalement sur des langues riches en ressources comme l'anglais et le chinois.