GSM-Plus-BN memperkenalkan benchmark berbasis gangguan untuk penalaran matematika Bengali

Studi ini memperkenalkan GSM-Plus-BN, dataset matematika Bengali terganggu yang baru, yang berasal dari benchmark GSM-Plus bahasa Inggris dan diverifikasi oleh penerjemah manusia. Sumber daya ini mengatasi kurangnya benchmark sistematis untuk menilai ketahanan model di wilayah dengan keragaman linguistik seperti Bangladesh.

• Benchmark ini terdiri dari 9.000 sampel evaluasi, termasuk 1.000 pertanyaan benih dan 8.000 varian terganggu.
• Enam LLM open-source dievaluasi: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, dan GPT-OSS-20B.
• GPT-OSS-20B mencapai akurasi pertanyaan benih tertinggi sebesar 96,08% di bawah Prompting Standar.
• Model yang lebih besar seperti Llama-3.3-70B dan GPT-OSS-120B menunjukkan ketahanan yang unggul di seluruh jenis gangguan.
• Prompting Chain-of-Thought secara substansial meningkatkan penalaran untuk sebagian besar model dibandingkan dengan Prompting Standar.

Penelitian ini menyediakan sumber daya dasar dan garis dasar untuk penelitian penalaran matematika Bengali di masa depan, menyoroti kesulitan inheren dari teks Bengali yang terganggu.