उच्च तर्क प्रयास के साथ OpenAI का o1 मॉडल Aider के नए जारी किए गए बहुभाषी बेंचमार्क पर शीर्ष स्कोर प्राप्त करने में सफल रहा, जो अन्य प्रमुख बड़े भाषा मॉडलों को काफी पीछे छोड़ता है। यह अपडेट किया गया बेंचमार्क पिछले संस्करणों की तुलना में बहुत अधिक कठिन होने के लिए डिज़ाइन किया गया है ताकि आज के सबसे शक्तिशाली कोडिंग मॉडलों की क्षमताओं को बेहतर तरीके से अलग किया जा सके।
- नया बेंचमार्क C++, Go, Java, JavaScript, Python और Rust में Exercism से सबसे कठिन 225 अभ्यासों का उपयोग करता है।
- यह उन आसान समस्याओं को बाहर रखता है जिन्हें सभी परीक्षण किए गए मॉडल हल कर सकते हैं ताकि लगभग 5% से 50% के बीच एक चौड़ा स्कोर रेंज बनाया जा सके।
- o1 ने 62% का शीर्ष स्कोर स्थापित किया, भविष्य के मॉडल उन्नयनों के लिए 86 हल न किए गए समस्याएं छोड़ दीं।
- बेंचमार्क को पुराने Python-केवल बेंचमार्क्स में संतृप्ति को दूर करने के लिए डिज़ाइन किया गया था जहां स्कोर 80% के करीब पहुंच गए थे।
लेखकों का मानना है कि यह पुनः कैलिब्रेशन महत्वपूर्ण है क्योंकि यह भविष्य के LLMs के लिए स्थान प्रदान करता है और शीर्ष कोडिंग मॉडलों के बीच सापेक्ष प्रदर्शन की स्पष्ट तुलना की अनुमति देता है।