अध्ययन GSM-Plus-BN का परिचय देता है, एक नया विक्षोभित बंगाली गणितीय डेटासेट जो अंग्रेजी GSM-Plus मानचित्रण से व्युत्पन्न है और मानव अनुवादकों द्वारा सत्यापित किया गया है। यह संसाधन बांग्लादेश जैसे भाषाई रूप से विविध क्षेत्रों में मॉडल की दृढ़ता का आकलन करने के लिए व्यवस्थित मानचित्रण की कमी को पूरा करता है।
- मानचित्रण में 9,000 मूल्यांकन नमूने शामिल हैं, जिनमें 1,000 बीज प्रश्न और 8,000 विक्षोभित रूप शामिल हैं।
- छह ओपन-सोर्स LLMs का मूल्यांकन किया गया: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, और GPT-OSS-20B।
- मानक प्रॉम्प्टिंग के तहत GPT-OSS-20B ने 96.08% की उच्चतम बीज प्रश्न सटीकता हासिल की।
- Llama-3.3-70B और GPT-OSS-120B जैसे बड़े मॉडलों ने विक्षोभ प्रकारों के पार श्रेष्ठ दृढ़ता दिखाई।
- मानक प्रॉम्प्टिंग की तुलना में चैनल-ऑफ़-थॉट प्रॉम्प्टिंग अधिकांश मॉडलों के लिए तर्क को काफी बेहतर बनाता है।
यह शोध भविष्य के बंगाली गणितीय तर्क अनुसंधान के लिए एक मौलिक संसाधन और आधाररेखा प्रदान करता है, जो विक्षोभित बंगाली पाठ की अंतर्निहित कठिनाई को उजागर करता है।