يقدم الباحثون MORE، وهو معيار واسع النطاق مصمم لتقييم أداء نماذج Vision-Language Models في فك ترميز المستندات متعددة اللغات. يعالج مجموعة البيانات نقص ground truth للغات منخفضة الموارد من خلال جمع عينات من مستندات العالم الحقيقي عبر خط أنابيب تعليق مدعوم بالنماذج ومنقح بواسطة البشر.
- يغطي 149 لغة، مما يجعله المعيار الأكثر تنوعًا لغويًا حتى الآن.
- يوسع التقييم ليشمل عناصر هيكلية تتجاوز النص العادي (plain text)، مثل كتل التعليمات البرمجية والجداول والفهارس.
- يضع خطوط أساس جديدة للأداء للغات ذات الذيل الطويل باستخدام أحدث النماذج.
يهدف المعيار إلى تشخيص قدرات النماذج في سيناريوهات واقعية ومتنوعة حيث تركز الأدوات الحالية بشكل رئيسي على اللغات عالية الموارد مثل الإنجليزية والصينية.