本研究では、英語のGSM-Plusベンチマークを基に人間翻訳者によって検証された新規な摂動付きベンガル語数学データセットであるGSM-Plus-BNを紹介します。このリソースは、バングラデシュのような言語的多様性に富む地域におけるモデルの堅牢性を評価するための体系的なベンチマークの欠如に対処します。

  • ベンチマークは9,000件の評価サンプルで構成され、うち1,000件のシード質問と8,000件の摂動バリアントを含みます。
  • 6つのオープンソースLLMが評価されました：Qwen3-32B、Llama-3.1-8B-Instant、Llama-3.3-70B-Versatile、Llama-4-Scout-17B-16E-Instruct、GPT-OSS-120B、およびGPT-OSS-20B。
  • GPT-OSS-20Bは標準プロンプティングの下で96.08%の最高シード質問精度を達成しました。
  • Llama-3.3-70BやGPT-OSS-120Bのような大規模モデルは、摂動の種類全体において優れた堅牢性を示しました。
  • 思考の連鎖プロンプティングは、標準プロンプティングと比較してほとんどのモデルの推論を大幅に改善しました。

この研究は、将来のベンガル語数学推論研究のための基盤となるリソースとベースラインを提供し、摂動付きベンガル語テキストの本質的な難しさを浮き彫りにします。