Benchmark · reasoning
GPQA Diamond
GPQA Diamond, GPQA का सबसे कठिन उपसमूह है — विशेषज्ञों द्वारा लिखे गए स्नातकोत्तर स्तर के और "Google-प्रूफ़" बहुविकल्पीय विज्ञान प्रश्नों (जीवविज्ञान, भौतिकी, रसायन) का संग्रह। मॉडल का मूल्यांकन सही उत्तर चुनने की प्रतिशत सटीकता से होता है।
और पढ़ें
- उदाहरण
- एक सामान्य प्रश्न स्नातकोत्तर-स्तरीय तर्क माँगने वाला कठिन बहुविकल्पीय प्रश्न होता है; उदाहरण के लिए, एक रसायन विज्ञान का प्रश्न जो किसी अभिक्रिया-तंत्र का वर्णन करता है और पूछता है कि चार विकल्पों में से कौन-सा सही उत्पाद देता है, इतना कठिन कि गैर-विशेषज्ञ वेब सर्च से भी हल नहीं कर पाता।
- स्कोरिंग
- स्कोर सही उत्तर दिए गए प्रश्नों का प्रतिशत (सटीकता) है: जिन प्रश्नों में मॉडल सही विकल्प चुनता है उनकी संख्या को कुल प्रश्नों की संख्या से भाग देकर।
- सत्यापन
- हर उत्तर को एकमात्र ज्ञात सही विकल्प से सटीक मिलान द्वारा स्वचालित रूप से जाँचा जाता है, इसलिए किसी मानवीय निर्णय की आवश्यकता नहीं; "Diamond" का लेबल डेटासेट बनाते समय ही दिया गया था — जब योग्य विशेषज्ञ उत्तर पर सहमत हुए और गैर-विशेषज्ञ फिर भी गलत रहे।
- यह क्यों मायने रखता है
- यह असली विशेषज्ञ-स्तरीय वैज्ञानिक तर्क (न कि खोजे जा सकने वाले तथ्यों) की सबसे कठिन परीक्षाओं में से एक है, इसलिए GPQA Diamond पर ऊँचा स्कोर इस बात का प्रमुख संकेत है कि कोई अग्रणी मॉडल कठिन, विशिष्ट समस्याओं पर तर्क कर सकता है।
हल किया गया उदाहरण
कार्य
एक इलेक्ट्रॉन (बिना सामान्यीकृत) स्पिन अवस्था (3i, 4)ᵀ में है। y-अक्ष के अनुदिश उसके स्पिन S_y का अपेक्षित मान ज्ञात कीजिए। विकल्प: (A) 12ħ/25 (B) −12ħ/25 (C) 25ħ/2 (D) −25ħ/2।
समाधान
Norm: |3i|²+|4|²=25. σ_y=[[0,−i],[i,0]]. ⟨S_y⟩=(ħ/2)·(ψ†σ_yψ)/(ψ†ψ)=(ħ/2)·(−24/25)=−12ħ/25 → (B).
व्याख्या
⟨S_y⟩ = ψ†S_yψ / ψ†ψ और S_y = (ħ/2)σ_y का उपयोग करने पर अंश ψ†σ_yψ = −24 तथा मान ψ†ψ = 25 मिलता है, जिससे −12ħ/25 (विकल्प B) प्राप्त होता है। GPQA चुने गए अक्षर का सही उत्तर से पूर्ण मिलान करके अंक देता है।