该研究推出了 GSM-Plus-BN，这是一个源自英语 GSM-Plus 基准并经人工翻译人员验证的新型扰动孟加拉语数学数据集。该资源旨在解决孟加拉国等语言多样地区缺乏系统性基准来评估模型鲁棒性的问题。

  • 该基准包含 9,000 个评估样本，其中包括 1,000 个种子问题和 8,000 个扰动变体。
  • 评估了六个开源大语言模型：Qwen3-32B、Llama-3.1-8B-Instant、Llama-3.3-70B-Versatile、Llama-4-Scout-17B-16E-Instruct、GPT-OSS-120B 和 GPT-OSS-20B。
  • 在标准提示下，GPT-OSS-20B 在种子问题上的准确率最高，达到 96.08%。
  • Llama-3.3-70B 和 GPT-OSS-120B 等更大规模的模型在各种扰动类型中表现出更优越的鲁棒性。
  • 与标准提示相比，思维链提示显著提高了大多数模型的推理能力。

这项研究为未来的孟加拉语数学推理研究提供了基础资源和基线，突显了扰动孟加拉语文本固有的难度。