GSM-Plus-BN, 벵골어 수학 추론을 위한 교란 기반 벤치마크 도입

본 연구는 영어 GSM-Plus 벤치마크에서 파생되고 인간 번역자에 의해 검증된 새로운 교란 벵골어 수학 데이터셋인 GSM-Plus-BN을 소개합니다. 이 자원은 방글라데시와 같은 언어적으로 다양한 지역에서 모델의 견고성을 평가하기 위한 체계적인 벤치마크 부재를 해소합니다.

• 벤치마크는 1,000개의 시드 질문과 8,000개의 교란 변형체를 포함하는 총 9,000개의 평가 샘플로 구성됩니다.
• 여섯 개의 오픈소스 LLM이 평가되었습니다: Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, 그리고 GPT-OSS-20B.
• GPT-OSS-20B는 표준 프롬프팅 하에서 96.08%의 최고 시드 질문 정확도를 달성했습니다.
• Llama-3.3-70B와 GPT-OSS-120B와 같은 더 큰 모델들은 교란 유형 전반에 걸쳐 우수한 견고성을 보였습니다.
• 사고 사슬 프롬프팅은 표준 프롬프팅과 비교하여 대부분의 모델에서 추론을 크게 개선했습니다.

이 연구는 향후 벵골어 수학 추론 연구를 위한 기초 자원과 기준선을 제공하며, 교란된 벵골어 텍스트의 본질적인 어려움을 강조합니다.