Benchmark · math
AIME 2024
AIME 2024, 2024 के American Invitational Mathematics Examination के 15 प्रश्नों के ज़रिए किसी मॉडल की उन्नत गणितीय तर्कक्षमता मापता है और सही हल किए गए प्रश्नों का प्रतिशत बताता है।
और पढ़ें
- उदाहरण
- एक सामान्य प्रश्न स्कूल-स्तर की कठिन प्रतियोगिता का होता है — जैसे संख्या-सिद्धांत या combinatorics का प्रश्न — जिसका उत्तर एक ही पूर्णांक होता है (AIME में उत्तर हमेशा पूर्णांक होता है, आमतौर पर 0 से 999 के बीच)।
- स्कोरिंग
- मापदंड है accuracy: 15 में से सही उत्तर दिए गए प्रश्नों का अनुपात, यानी हर सही हल किया गया प्रश्न कुल अंक का 1/15 होता है।
- सत्यापन
- परिणाम exact match से स्वीकार किया जाता है: मॉडल का अंतिम पूर्णांक उत्तर आधिकारिक उत्तर के बराबर होना चाहिए, जिसे स्वचालित रूप से जाँचा जाता है — न कोई आंशिक अंक, न कोई मानवीय मूल्यांकन।
- यह क्यों मायने रखता है
- यह कठिन और हाल के प्रतियोगिता प्रश्नों का एक संक्षिप्त समूह है जिसमें कई चरणों का तर्क चाहिए, इसलिए इसे अग्रणी मॉडलों की तुलना के लिए व्यापक रूप से इस्तेमाल किया जाता है, और प्रश्नों की नवीनता प्रशिक्षण-डेटा संदूषण का जोखिम घटाती है।
हल किया गया उदाहरण
कार्य
कितने धनात्मक पूर्णांक n ≤ 600 ऐसे हैं जो 4 या 6 से विभाज्य हैं परंतु 5 से नहीं? (AIME के उत्तर 0 से 999 तक के पूर्णांक होते हैं।)
समाधान
Multiples of 4 or 6 that are ≤ 600: 150 + 100 − 50 = 200. Of these, the ones also divisible by 5 (multiples of 20 or 30, minus 60): 30 + 20 − 10 = 40. Answer: 200 − 40 = 160.
व्याख्या
समावेशन-अपवर्जन (inclusion–exclusion) से 4 या 6 से विभाज्य 200 संख्याएँ हैं, जिनमें से 40 संख्याएँ 5 से भी विभाज्य हैं, अतः 160 शेष रहती हैं। AIME केवल अंतिम पूर्णांक उत्तर (0–999) की स्वतः जाँच करता है, आंशिक अंक नहीं देता।