L'étude présente GSM-Plus-BN, un nouvel ensemble de données mathématiques bengali perturbé, dérivé du benchmark anglais GSM-Plus et vérifié par des traducteurs humains. Cette ressource comble le manque de benchmarks systématiques pour évaluer la robustesse des modèles dans des régions linguistiquement diversifiées comme le Bangladesh.

  • Le benchmark comprend 9 000 échantillons d'évaluation, dont 1 000 questions semences et 8 000 variantes perturbées.
  • Six LLM open-source ont été évalués : Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B et GPT-OSS-20B.
  • GPT-OSS-20B a atteint la précision la plus élevée sur les questions semences de 96,08 % sous Prompting Standard.
  • Les modèles plus grands comme Llama-3.3-70B et GPT-OSS-120B ont démontré une robustesse supérieure à travers les types de perturbation.
  • Le prompting par Chaîne de Pensée a considérablement amélioré le raisonnement pour la plupart des modèles par rapport au Prompting Standard.

Cette recherche fournit une ressource fondamentale et une ligne de base pour les futures recherches sur le raisonnement mathématique en bengali, mettant en évidence la difficulté inhérente du texte bengali perturbé.