लेखकों ने PluraMath पेश किया, एक नया डेटासेट जो PolyMath बेंचमार्क को छह भाषा परिवारों को कवर करने वाले 18 अतिरिक्त कम प्रतिनिधित्व वाली भाषाओं तक विस्तारित करता है। यह कार्य मौजूदा बड़े भाषा मॉडलों के लिए गणितीय तर्क मूल्यांकन में अंग्रेजी और चीनी जैसे उच्च-संसाधन वाली भाषाओं के प्रति भारी पक्षपात को दूर करता है।
- डेटासेट मध्यम संसाधन से लेकर अत्यंत कम संसाधन तक की सेटिंग्स को कवर करता है, PolyMath की 18 भाषाओं की सीमा द्वारा छोड़े गए अंतराल को भरता है।
- डेटा का निर्माण मानव-संपादित पाइपलाइन के माध्यम से किया गया था जहाँ स्थानीय बोलने वालों ने पूर्व-गणना किए गए अनुवादों की पुष्टि की।
- लेखकों ने छोटे, मध्यम, बड़े और बंद-स्रोत एनसेंबल स्केल पर 27 तर्क LLMs का बेंचमार्किंग किया।
- विश्लेषण उच्च-संसाधन वाली भाषाओं और कम प्रतिनिधित्व वाली भाषाओं के बीच एक निरंतर प्रदर्शन अंतर को उजागर करता है, जो निर्देशों का पालन करने की क्षमता से जुड़ा है।
डेटासेट, अधिग्रहण पाइपलाइन और मूल्यांकन फ्रेमवर्क बहुभाषी बेंचमार्क विकास के लिए बाधाओं को कम करने के लिए पूरी तरह से ओपन-सोर्स हैं।