Para peneliti memperkenalkan MORE, sebuah benchmark skala besar yang dirancang untuk mengevaluasi kinerja Vision-Language Models pada parsing dokumen multibahasa. Dataset ini mengatasi kurangnya ground truth untuk bahasa dengan sumber daya rendah dengan mengumpulkan sampel dari dokumen dunia nyata melalui pipeline anotasi yang dibantu model dan disempurnakan oleh manusia.
- Mencakup 149 bahasa, menjadikannya benchmark paling beragam secara linguistik hingga saat ini.
- Memperluas evaluasi di luar plain text untuk mencakup elemen struktural seperti blok kode, tabel, dan katalog.
- Menetapkan baseline kinerja baru untuk bahasa ekor panjang menggunakan model mutakhir.
Benchmark ini bertujuan mendiagnosis kemampuan model dalam skenario nyata dan beragam di mana alat yang ada terutama berfokus pada bahasa dengan sumber daya tinggi seperti bahasa Inggris dan Mandarin.