Benchmark · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) कई विषय-क्षेत्रों (गणित, विज्ञान, मानविकी और अन्य) के अग्रणी, विशेषज्ञ-स्तर के प्रश्नों का एक बेंचमार्क है, जिसे जानबूझकर AI के लिए बेहद कठिन बनाया गया है। यह प्रदर्शन को सटीकता प्रतिशत (accuracy) के रूप में दर्शाता है।
और पढ़ें
- उदाहरण
- प्रत्येक आइटम केवल एक सही उत्तर वाला बंद-अंत विशेषज्ञ प्रश्न होता है; जैसे कोई उन्नत गणित की समस्या या स्नातकोत्तर-स्तर का विज्ञान प्रश्न (कुछ के साथ एक चित्र भी), जो बहुविकल्पीय या सटीक संक्षिप्त उत्तर के रूप में पूछा जाता है।
- स्कोरिंग
- मापदंड सटीकता (accuracy) है — यानी मॉडल कितने प्रतिशत प्रश्नों का सही उत्तर देता है। कुछ संस्करण सटीकता के साथ-साथ एक कैलिब्रेशन (आत्मविश्वास) माप भी बताते हैं।
- सत्यापन
- हर प्रश्न का एक ज्ञात सही उत्तर होता है, और मॉडल के उत्तर को उसी संदर्भ उत्तर से स्वतः मिलाकर आँका जाता है (बहुविकल्पीय में सही विकल्प, संक्षिप्त उत्तर में मिलान) — यह वस्तुनिष्ठ स्वचालित मूल्यांकन है, मानव मतदान नहीं।
- यह क्यों मायने रखता है
- सामान्य बेंचमार्क संतृप्त हो चुके हैं (शीर्ष मॉडल लगभग अधिकतम अंक पा लेते हैं), इसलिए HLE मानव विशेषज्ञ ज्ञान की अग्रिम सीमा पर एक कठिन, विभेदक परीक्षा बनने का लक्ष्य रखता है — यह मापने का एक सार्थक तरीका कि AI विशेषज्ञ-स्तर के तर्क से कितना दूर है।
हल किया गया उदाहरण
कार्य
हमिंगबर्ड (गण Apodiformes) में विशिष्ट रूप से एक द्विपार्श्वीय युग्मित अंडाकार सीसमॉइड हड्डी (sesamoid) होती है, जो m. depressor caudae के प्रवेश-स्थल के विस्तारित क्रॉस-आकार वाले एपोन्यूरोसिस (aponeurosis) के पुच्छ-पार्श्व भाग में अंतःस्थापित होती है। यह सीसमॉइड हड्डी कितने युग्मित कंडराओं (tendons) को सहारा देती है? एक ही पूर्णांक में उत्तर दें।
समाधान
4
व्याख्या
अंडाकार सीसमॉइड हड्डी पूँछ की अवनमक पेशी के क्रॉस-आकार एपोन्यूरोसिस के भीतर बनती है और उस प्रवेश-स्थल के चार युग्मित कंडराओं को सहारा देती है — यह हमिंगबर्ड की पूँछ की शारीरिकी के लिए अद्वितीय एक विशेषीकृत अस्थिभवन है। HLE प्रस्तुत पूर्णांक का संदर्भ उत्तर (4) से यथार्थ मिलान करके अंक देता है और अंशांकन के लिए अलग से आत्मविश्वास भी लेता है।