O estudo introduz o GSM-Plus-BN, um novo conjunto de dados matemáticos bengalis perturbados derivado do benchmark GSM-Plus em inglês e verificado por tradutores humanos. Este recurso aborda a falta de benchmarks sistemáticos para avaliar a robustez de modelos em regiões linguisticamente diversas como Bangladesh.

  • O benchmark compreende 9.000 amostras de avaliação, incluindo 1.000 perguntas semente e 8.000 variantes perturbadas.
  • Seis LLMs de código aberto foram avaliados: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B e GPT-OSS-20B.
  • O GPT-OSS-20B alcançou a maior precisão em perguntas semente de 96,08% sob Prompting Padrão.
  • Modelos maiores como Llama-3.3-70B e GPT-OSS-120B demonstraram robustez superior em todos os tipos de perturbação.
  • O prompting Chain-of-Thought melhorou substancialmente o raciocínio para a maioria dos modelos em comparação com o Prompting Padrão.

Esta pesquisa fornece um recurso fundamental e uma linha de base para futuras pesquisas sobre raciocínio matemático em bengali, destacando a dificuldade inerente do texto bengali perturbado.