يقدم المؤلفون PluraMath، وهو مجموعة بيانات جديدة توسع معيار PolyMath ليشمل 18 لغة مهمشة إضافية تغطي ست عائلات لغوية. يعالج هذا العمل التحيز الكبير نحو اللغات ذات الموارد العالية مثل الإنجليزية والصينية في تقييمات الاستدلال الرياضي الحالية لنماذج اللغة الكبيرة (LLM).
- تغطي مجموعة البيانات إعدادات تتراوح من الموارد المتوسطة إلى المنخفضة للغاية، مما يسد الفجوات التي تركها حد PolyMath البالغ 18 لغة.
- تم بناء البيانات عبر خط أنابيب من قبل بشر حيث قام متحدثون أصليون بالتحقق من الترجمات المحسوبة مسبقًا.
- قام المؤلفون بتقييم 27 نموذج استدلال (LLM) عبر مقاييس صغيرة ومتوسطة وكبيرة ومجموعات مغلقة المصدر.
- يكشف التحليل عن فجوة أداء مستمرة بين اللغات ذات الموارد العالية واللغات المهمشة، مرتبطة بقدرة اتباع التعليمات.
تم فتح مجموعة البيانات وخط أنابيب الحصول وإطار التقييم بالكامل كمصدر مفتوح لخفض الحواجز أمام تطوير معايير متعددة اللغات.