Los autores presentan PluraMath, un nuevo conjunto de datos que extiende el benchmark PolyMath a 18 idiomas adicionales subrepresentados que abarcan seis familias lingüísticas. Este trabajo aborda la fuerte sesgo hacia idiomas de alto recurso como el inglés y el chino en las evaluaciones existentes de razonamiento matemático para Modelos de Lenguaje Grande.
- El conjunto de datos cubre configuraciones de recursos medios a extremadamente bajos, llenando los vacíos dejados por el límite de 18 idiomas de PolyMath.
- Los datos se construyeron mediante un pipeline curado por humanos donde hablantes nativos validaron traducciones precomputadas.
- Los autores evaluaron 27 LLMs de razonamiento en escalas pequeñas, medianas, grandes y conjuntos cerrados.
- El análisis revela una brecha persistente de rendimiento entre idiomas de alto recurso e idiomas subrepresentados, vinculada a la capacidad de seguir instrucciones.
El conjunto de datos, el pipeline de adquisición y el marco de evaluación están completamente abiertos para reducir las barreras para el desarrollo de benchmarks multilingües.