Os autores apresentam o PluraMath, um novo conjunto de dados que estende o benchmark PolyMath para 18 idiomas sub-representados adicionais, abrangendo seis famílias linguísticas. Este trabalho aborda o forte viés em direção a idiomas de alto recurso como inglês e chinês nas avaliações existentes de raciocínio matemático para Grandes Modelos de Linguagem.
- O conjunto de dados cobre configurações de recursos médios a extremamente baixos, preenchendo as lacunas deixadas pelo limite de 18 idiomas do PolyMath.
- Os dados foram construídos por meio de um pipeline curado por humanos onde falantes nativos validaram traduções pré-computadas.
- Os autores avaliaram 27 LLMs de raciocínio em escalas pequenas, médias, grandes e conjuntos fechados.
- A análise revela uma lacuna persistente de desempenho entre idiomas de alto recurso e idiomas sub-representados, ligada à capacidade de seguir instruções.
O conjunto de dados, o pipeline de aquisição e o framework de avaliação estão totalmente abertos para reduzir as barreiras para o desenvolvimento de benchmarks multilíngues.