El estudio introduce GSM-Plus-BN, un nuevo conjunto de datos matemáticos en bengalí perturbado derivado del benchmark GSM-Plus en inglés y verificado por traductores humanos. Este recurso aborda la falta de benchmarks sistemáticos para evaluar la robustez de los modelos en regiones lingüísticamente diversas como Bangladés.

  • El benchmark comprende 9.000 muestras de evaluación, que incluyen 1.000 preguntas semilla y 8.000 variantes perturbadas.
  • Se evaluaron seis LLMs de código abierto: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B y GPT-OSS-20B.
  • GPT-OSS-20B logró la mayor precisión en preguntas semilla del 96,08% bajo Prompting Estándar.
  • Modelos más grandes como Llama-3.3-70B y GPT-OSS-120B demostraron una robustez superior en todos los tipos de perturbación.
  • El prompting de Cadena de Pensamiento mejoró sustancialmente el razonamiento para la mayoría de los modelos en comparación con el Prompting Estándar.

Esta investigación proporciona un recurso fundamental y una línea base para futuras investigaciones sobre razonamiento matemático en bengalí, destacando la dificultad inherente del texto bengalí perturbado.