Para penulis memperkenalkan PluraMath, sebuah dataset baru yang memperluas benchmark PolyMath ke 18 bahasa yang kurang terwakili tambahan yang mencakup enam rumpun bahasa. Karya ini mengatasi bias berat terhadap bahasa dengan sumber daya tinggi seperti Inggris dan Mandarin dalam evaluasi penalaran matematika yang ada untuk Model Bahasa Besar (LLM).
- Dataset ini mencakup pengaturan dari sumber daya menengah hingga ekstrem rendah, mengisi celah yang ditinggalkan oleh batas 18 bahasa PolyMath.
- Data dibangun melalui pipeline kurasi manusia di mana penutur asli memvalidasi terjemahan yang telah dihitung sebelumnya.
- Para penulis melakukan benchmarking terhadap 27 LLM penalaran di berbagai skala kecil, menengah, besar, dan ensemble sumber tertutup.
- Analisis mengungkapkan kesenjangan kinerja yang persisten antara bahasa dengan sumber daya tinggi dan bahasa yang kurang terwakili, yang terkait dengan kemampuan mengikuti instruksi.
Dataset, pipeline akuisisi, dan kerangka evaluasi sepenuhnya open-sourced untuk menurunkan hambatan bagi pengembangan benchmark multibahasa.