Benchmark · math

FrontierMath

0 परिणाम 0 मॉडल

FrontierMath, Epoch AI का एक बेंचमार्क है जो मापता है कि कोई AI मॉडल बेहद कठिन, मौलिक और शोध-स्तर की गणितीय समस्याओं को कितनी अच्छी तरह हल कर सकता है। स्कोर उन समस्याओं का प्रतिशत है जिनका मॉडल सही उत्तर देता है, और आज के मॉडल केवल एक छोटा-सा हिस्सा ही हल कर पाते हैं — संतृप्ति से बहुत दूर।

और पढ़ें

उदाहरण: संख्या सिद्धांत (number theory), बीजगणितीय ज्यामिति या कॉम्बिनेटरिक्स जैसे उन्नत क्षेत्र की एक अकेली, पहले कभी प्रकाशित न हुई समस्या, जिसका हल गहरी विशेषज्ञता माँगता है और अंत में एक निश्चित उत्तर तक सिमट जाता है (उदाहरण के लिए कोई विशिष्ट पूर्णांक या सटीक गणितीय वस्तु)।
स्कोरिंग: मापदंड है सटीकता (accuracy): उन समस्याओं का अनुपात जिनका अंतिम उत्तर संदर्भ उत्तर से बिल्कुल मेल खाता है, प्रतिशत में व्यक्त किया जाता है।
सत्यापन: हर समस्या का एक ही निश्चित, स्वतः जाँचा जा सकने वाला उत्तर होता है, इसलिए कोई हल तभी स्वीकार होता है जब वह संदर्भ उत्तर से हूबहू मेल खाए; समस्याओं को विशेषज्ञ गणितज्ञ इस तरह बनाते हैं कि अनुमान लगाकर सही उत्तर पाना लगभग असंभव हो।
यह क्यों मायने रखता है: चूँकि समस्याएँ नई होती हैं, यह रटने से बच निकलता है, और अब भी हल होने से बहुत दूर है, इसलिए यह उन गिने-चुने गणित बेंचमार्क में से एक है जो असली उन्नत गणितीय तर्क को पैटर्न-मिलान से साफ़ अलग कर देता है।

हल किया गया उदाहरण

FrontierMath के आइटम स्वतःपूर्ण, अनुसंधान-स्तर की गणितीय समस्याएँ होती हैं जिनका उत्तर एक ही सटीक मान होता है, जिसे कोई स्वचालित जाँचकर्ता (अक्सर SymPy) सत्यापित कर सकता है, और जो इतना बड़ा या विशिष्ट होता है कि उसे अनुमान से पाना लगभग असंभव है। इसी शैली का एक प्रतिनिधि उदाहरण: «प्रत्येक अभाज्य p के लिए, ord_p(2) को p के सापेक्ष 2 का गुणनात्मक क्रम मानें — अर्थात वह सबसे छोटा धनात्मक पूर्णांक k जिसके लिए 2^k ≡ 1 (mod p)। उन सभी अभाज्य p पर Σ ord_p(2) की गणना करें जिनके लिए 100 < p < 200, और सटीक पूर्णांक बताएँ।» उत्तर: 2140। तर्क: ऐसे 21 अभाज्य हैं, और प्रत्येक के लिए ord_p(2) को p−1 को विभाजित करना ही होगा (फ़र्मा का लघु प्रमेय), इसलिए p−1 के भाजकों को बढ़ते क्रम में जाँचते हैं ताकि 2^k ≡ 1 देने वाला सबसे छोटा k मिल सके — उदाहरण के लिए, मॉड्यूलो 127 पर 2^7 = 128 ≡ 1 मिलता है, अतः ord = 7, जबकि मॉड्यूलो 101 पर 2 एक आदिम मूल है, अतः ord = 100। इन 21 क्रमों को जोड़ने पर 2140 मिलता है, जिसे जाँच-कार्यक्रम पूर्णांकों के सटीक मिलान से सत्यापित करता है। (असली FrontierMath समस्याएँ कहीं अधिक कठिन होती हैं और अक्सर किसी विशेषज्ञ गणितज्ञ के घंटों ले लेती हैं, पर प्रारूप — एक सटीक, मशीन-सत्यापन-योग्य संख्या — ठीक यही है।)

इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।