تقدم الدراسة GSM-Plus-BN، وهو مجموعة بيانات رياضية بنغالية مشوشة جديدة مشتقة من معيار GSM-Plus الإنجليزي ومُحققة بواسطة مترجمين بشريين. يعالج هذا المورد نقص المعايير المنهجية لتقييم متانة النماذج في المناطق ذات التنوع اللغوي مثل بنغلاديش.
- يتكون المعيار من 9000 عينة تقييم، بما في ذلك 1000 سؤال بذرة و8000 variant مشوش.
- تم تقييم ستة نماذج لغوية كبيرة مفتوحة المصدر: Qwen3-32B، Llama-3.1-8B-Instant، Llama-3.3-70B-Versatile، Llama-4-Scout-17B-16E-Instruct، GPT-OSS-120B، وGPT-OSS-20B.
- حقق GPT-OSS-20B أعلى دقة لأسئلة البذرة بنسبة 96.08% تحت التوجيه القياسي.
- أظهرت النماذج الأكبر مثل Llama-3.3-70B وGPT-OSS-120B متانة فائقة عبر أنواع التشويش.
- أدى توجيه سلسلة التفكير إلى تحسين الاستدلال بشكل كبير لمعظم النماذج مقارنة بالتوجيه القياسي.
يوفر هذا البحث موردًا أساسيًا وخط أساس لأبحاث الاستدلال الرياضي البنغالي المستقبلية، مما يسلط الضوء على الصعوبة الكامنة في النص البنغالي المشوش.