Los investigadores presentan MORE, un benchmark a gran escala diseñado para evaluar el rendimiento de Vision-Language Models en el análisis de documentos multilingües. El conjunto de datos aborda la falta de ground truth para low-resource languages mediante la curación de muestras de documentos del mundo real a través de una tubería de anotación asistida por modelos y refinada por humanos.
- Cubre 149 idiomas, convirtiéndolo en el benchmark más diverso lingüísticamente hasta la fecha.
- Extiende la evaluación más allá del texto plano para incluir elementos estructurales como bloques de código, tablas y catálogos.
- Establece nuevas performance baselines para long-tail languages utilizando modelos state-of-the-art.
El benchmark tiene como objetivo diagnosticar las capacidades del modelo en escenarios realistas y diversos donde las herramientas existentes se centran predominantemente en high-resource languages como el inglés y el chino.