Benchmark · math
FrontierMath
FrontierMath, Epoch AI का एक बेंचमार्क है जो मापता है कि कोई AI मॉडल बेहद कठिन, मौलिक और शोध-स्तर की गणितीय समस्याओं को कितनी अच्छी तरह हल कर सकता है। स्कोर उन समस्याओं का प्रतिशत है जिनका मॉडल सही उत्तर देता है, और आज के मॉडल केवल एक छोटा-सा हिस्सा ही हल कर पाते हैं — संतृप्ति से बहुत दूर।
और पढ़ें
- उदाहरण
- संख्या सिद्धांत (number theory), बीजगणितीय ज्यामिति या कॉम्बिनेटरिक्स जैसे उन्नत क्षेत्र की एक अकेली, पहले कभी प्रकाशित न हुई समस्या, जिसका हल गहरी विशेषज्ञता माँगता है और अंत में एक निश्चित उत्तर तक सिमट जाता है (उदाहरण के लिए कोई विशिष्ट पूर्णांक या सटीक गणितीय वस्तु)।
- स्कोरिंग
- मापदंड है सटीकता (accuracy): उन समस्याओं का अनुपात जिनका अंतिम उत्तर संदर्भ उत्तर से बिल्कुल मेल खाता है, प्रतिशत में व्यक्त किया जाता है।
- सत्यापन
- हर समस्या का एक ही निश्चित, स्वतः जाँचा जा सकने वाला उत्तर होता है, इसलिए कोई हल तभी स्वीकार होता है जब वह संदर्भ उत्तर से हूबहू मेल खाए; समस्याओं को विशेषज्ञ गणितज्ञ इस तरह बनाते हैं कि अनुमान लगाकर सही उत्तर पाना लगभग असंभव हो।
- यह क्यों मायने रखता है
- चूँकि समस्याएँ नई होती हैं, यह रटने से बच निकलता है, और अब भी हल होने से बहुत दूर है, इसलिए यह उन गिने-चुने गणित बेंचमार्क में से एक है जो असली उन्नत गणितीय तर्क को पैटर्न-मिलान से साफ़ अलग कर देता है।
हल किया गया उदाहरण
कार्य
उन पूर्णांकों $n$ की संख्या ज्ञात कीजिए जिनके लिए $0 \le n < 3^{13}$ हो और केंद्रीय द्विपद गुणांक $\binom{2n}{n}$ , $3$ से विभाज्य न हो।
समाधान
Kummer प्रमेय के अनुसार, $3 \nmid \binom{2n}{n}$ ठीक तभी होता है जब आधार 3 में $n+n$ जोड़ने पर कोई हासिल (carry) न हो, अर्थात् $n$ का प्रत्येक आधार-3 अंक 0 या 1 हो। $0 \le n < 3^{13}$ पर इससे 13 में से हर अंक के लिए 2 विकल्प मिलते हैं, इसलिए गिनती $2^{13} = 8192$ है।
व्याख्या
Kummer प्रमेय $v_3\binom{2n}{n}$ को आधार 3 में $n$ को स्वयं से जोड़ने पर आने वाले हासिल की संख्या के बराबर देता है; शून्य हासिल के लिए प्रत्येक आधार-3 अंक का 0 या 1 होना आवश्यक है, अर्थात् 13 अंकों में प्रति अंक 2 विकल्प। मूल्यांकन: एक स्वचालित जाँचक एकमात्र अंतिम पूर्णांक (8192) का सटीक मिलान करता है।