作者介绍了PluraMath，这是一个新的数据集，将PolyMath基准扩展到18种额外的代表性不足的语言，涵盖六个语系。这项工作解决了现有大型语言模型数学推理评估中对英语和中文等高资源语言的严重偏见。

  • 该数据集涵盖了中等资源到极端低资源的设置，填补了PolyMath的18种语言限制留下的空白。
  • 数据是通过人工策展的流程构建的，母语者验证了预计算的翻译。
  • 作者对27个推理大型语言模型进行了基准测试，涵盖小型、中型、大型和闭源集成规模。
  • 分析揭示了高资源语言和代表性不足语言之间持续存在的性能差距，这与遵循指令的能力有关。

该数据集、获取流程和评估框架完全开源，以降低多语言基准开发的门槛。