Исследование представляет GSM-Plus-BN, новый набор данных по математике на бенгальском языке с возмущениями, полученный из английского бенчмарка GSM-Plus и проверенный переводчиками-людьми. Этот ресурс восполняет отсутствие системных бенчмарков для оценки устойчивости моделей в лингвистически разнообразных регионах, таких как Бангладеш.
- Бенчмарк включает 9 000 образцов для оценки, в том числе 1 000 исходных вопросов и 8 000 вариантов с возмущениями.
- Были оценены шесть моделей LLM с открытым исходным кодом: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B и GPT-OSS-20B.
- GPT-OSS-20B достигла наивысшей точности на исходных вопросах — 96,08% при использовании стандартного форматирования запроса.
- Более крупные модели, такие как Llama-3.3-70B и GPT-OSS-120B, продемонстрировали превосходную устойчивость к различным типам возмущений.
- Форматирование запроса с цепочкой рассуждений (Chain-of-Thought) существенно улучшило способность к рассуждению для большинства моделей по сравнению со стандартным форматированием.
Это исследование предоставляет фундаментальный ресурс и базовый уровень для будущих исследований математического рассуждения на бенгальском языке, подчеркивая присущую сложность работы с бенгальским текстом, содержащим возмущения.