Les auteurs présentent PluraMath, un nouvel ensemble de données qui étend le benchmark PolyMath à 18 langues sous-représentées supplémentaires couvrant six familles de langues. Ce travail adresse le fort biais en faveur des langues riches en ressources comme l'anglais et le chinois dans les évaluations existantes du raisonnement mathématique pour les grands modèles de langage (LLM).

  • L'ensemble de données couvre des contextes allant des ressources moyennes aux extrêmes faibles ressources, comblant les lacunes laissées par la limite de 18 langues de PolyMath.
  • Les données ont été construites via un pipeline de curation humaine où des locuteurs natifs ont validé des traductions pré-calculées.
  • Les auteurs ont évalué 27 LLMs de raisonnement à travers des échelles petites, moyennes, grandes et des ensembles à source fermée.
  • L'analyse révèle un écart de performance persistant entre les langues riches en ressources et les langues sous-représentées, lié à la capacité de suivre les instructions.

L'ensemble de données, le pipeline d'acquisition et le cadre d'évaluation sont entièrement open-sourcés pour réduire les barrières au développement de benchmarks multilingues.