저자들은 PolyMath 벤치마크를 6개 언어 계통에 걸친 18개의 추가 소수 언어로 확장하는 새로운 데이터셋인 PluraMath를 소개합니다. 이 작업은 기존 대규모 언어 모델(LLM)용 수학적 추론 평가에서 영어와 중국어와 같은 고자원 언어에 대한 강한 편향을 해소합니다.
- 데이터셋은 중자원에서 극저자원 환경까지를 커버하며, PolyMath의 18개 언어 제한이 남긴 간극을 메웁니다.
- 데이터는 원어민이 사전 계산된 번역본을 검증하는 인간 큐레이션 파이프라인을 통해 구축되었습니다.
- 저자들은 소규모, 중규모, 대규모 및 클로즈드 소스 앙상블 규모에 걸쳐 27개의 추론 LLM을 벤치마킹했습니다.
- 분석 결과, 고자원 언어와 소수 언어 간에 지시 따름 능력과 관련된 지속적인 성능 격차가 존재함이 드러났습니다.
데이터셋, 획득 파이프라인 및 평가 프레임워크는 완전히 오픈소스화되어 다국어 벤치마크 개발의 장벽을 낮춥니다.