著者は、PolyMathベンチマークを6つの言語族に属する18の追加の少数言語に拡張する新しいデータセットであるPluraMathを紹介します。この取り組みは、既存の大規模言語モデル（LLM）向け数学的推論評価における英語や中国語などの高資源言語への強いバイアスに対処します。

  • データセットは、中程度から極端な低資源環境までをカバーし、PolyMathの18言語という制限が残したギャップを埋めます。
  • データは、ネイティブスピーカーが事前計算された翻訳を検証する人間によるキュレーションパイプラインを通じて構築されました。
  • 著者は、小規模、中規模、大規模、およびクローズドソースアンサンブルのスケールにわたって27つの推論型LLMをベンチマークしました。
  • 分析の結果、高資源言語と少数言語の間には指示従順性に関連する持続的な性能ギャップがあることが明らかになりました。

データセット、取得パイプライン、評価フレームワークは完全にオープンソース化され、多言語ベンチマーク開発の障壁を低減します。