Исследователи представляют MORE, крупномасштабный бенчмарк, предназначенный для оценки эффективности Vision-Language Models при многоязычном разборе документов. Набор данных восполняет отсутствие ground truth для low-resource languages путем курирования образцов из реальных документов с помощью моделируемого конвейера аннотации, уточненного человеком.

  • Охватывает 149 языков, что делает его самым лингвистически разнообразным бенчмарком на сегодняшний день.
  • Расширяет оценку за пределы обычного текста, включая структурные элементы, такие как блоки кода, таблицы и каталоги.
  • Устанавливает новые performance baselines для long-tail languages с использованием state-of-the-art моделей.

Бенчмарк направлен на диагностику возможностей моделей в реалистичных, разнообразных сценариях, где существующие инструменты преимущественно фокусируются на high-resource languages, таких как английский и китайский.