Benchmark · math
GSM8K
GSM8K (Grade School Math 8K) प्राथमिक स्तर की गणित की शब्द-समस्याओं का एक benchmark है, जिनमें से हर एक को हल करने के लिए कई चरणों वाले अंकगणितीय तर्क की ज़रूरत होती है; मॉडल को उन समस्याओं के प्रतिशत पर अंक मिलते हैं जिनका अंतिम संख्यात्मक उत्तर सही होता है।
और पढ़ें
- उदाहरण
- एक छोटी शब्द-समस्या जैसे «Natalia ने अप्रैल में 48 सहेलियों को क्लिप बेचे और मई में उसका आधा; उसने कुल कितने क्लिप बेचे?» — मॉडल को चरण-दर-चरण हल करके अंतिम संख्या देनी होती है।
- स्कोरिंग
- अंक accuracy (सटीकता) है: उन समस्याओं का अनुपात जिनका अंतिम संख्यात्मक उत्तर संदर्भ उत्तर से बिल्कुल मेल खाता है; बीच का तर्क नहीं आँका जाता, केवल अंतिम संख्या।
- सत्यापन
- सत्यापन स्वचालित और exact-match होता है: मॉडल की अंतिम संख्या को (आमतौर पर «####» जैसे विभाजक के बाद) निकाला जाता है और सही उत्तर से मिलाया जाता है, इसलिए किसी मानवीय निर्णय की ज़रूरत नहीं होती।
- यह क्यों मायने रखता है
- यह बहु-चरणीय तर्क का एक मानक और आसानी से जाँचा जाने वाला परीक्षण बन गया, और लोकप्रिय chain-of-thought प्रॉम्प्टिंग तकनीक ने इस पर परिणाम काफ़ी बेहतर किए, जिससे यह तर्क-क्षमता मापने का एक आम पैमाना बन गया।
हल किया गया उदाहरण
कार्य
मारिया के पास 3 डिब्बे क्रेयॉन हैं, हर डिब्बे में 24 क्रेयॉन हैं। वह अपने भाई को 15 क्रेयॉन देती है, फिर 2 और भरे हुए डिब्बे खरीदती है। अब उसके पास कितने क्रेयॉन हैं?
समाधान
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
व्याख्या
शुरुआती संख्या पाने के लिए गुणा करें, दिए गए क्रेयॉन घटाएँ, और नए खरीदे डिब्बे जोड़ें: 72 − 15 + 48 = 105। GSM8K केवल '####' विभाजक के बाद निकाली गई अंतिम संख्या को सटीक मिलान से आँकता है, इसलिए तर्क के चरण नहीं आँके जाते — केवल 105 गिना जाता है।