Авторы представляют PluraMath, новый набор данных, который расширяет бенчмарк PolyMath на 18 дополнительных недостаточно представленных языков, охватывающих шесть языковых семей. Эта работа устраняет сильную предвзятость к высоко ресурсным языкам, таким как английский и китайский, в существующих оценках математического рассуждения для больших языковых моделей.
- Набор данных охватывает настройки от средних до экстремально низких ресурсов, заполняя пробелы, оставленные лимитом PolyMath в 18 языков.
- Данные были созданы с помощью конвейера, курируемого человеком, где носители языка проверяли предварительно вычисленные переводы.
- Авторы провели бенчмаркинг 27 рассуждающих больших языковых моделей (LLM) в масштабах от малых до средних, крупных и закрытых ансамблевых.
- Анализ выявляет устойчивый разрыв в производительности между высоко ресурсными и недостаточно представленными языками, связанный со способностью следовать инструкциям.
Набор данных, конвейер получения данных и система оценки полностью открыты для снижения барьеров для разработки многоязычных бенчмарков.