Benchmark · coding

CRUXEval

0 परिणाम 0 मॉडल

CRUXEval (Code Reasoning, Understanding, and eXecution Evaluation) 800 छोटे Python फ़ंक्शनों पर मापता है कि कोई मॉडल कोड निष्पादन के बारे में कितनी अच्छी तरह तर्क करता है — दो कार्यों के ज़रिए: किसी दिए गए आउटपुट को देने वाला इनपुट अनुमानित करना, और किसी दिए गए इनपुट के लिए आउटपुट अनुमानित करना — जिसे pass@1 कार्यात्मक शुद्धता से आँका जाता है।

और पढ़ें

उदाहरण: एक छोटा, स्वतः-पूर्ण Python फ़ंक्शन दिखाया जाता है। आउटपुट अनुमान में मॉडल को एक विशिष्ट इनपुट दिया जाता है और उसे वह सटीक मान बताना होता है जो फ़ंक्शन लौटाता है; इनपुट अनुमान में उसे आउटपुट दिया जाता है और उसे कोई भी ऐसा इनपुट देना होता है जो उसे पुनः उत्पन्न करे।
स्कोरिंग: मीट्रिक pass@1 है (मानक निष्पक्ष अनुमानक से pass@k भी बताया जाता है): मॉडल प्रति समस्या एक या अधिक उत्तर उत्पन्न करता है, प्रत्येक को फ़ंक्शन चलाकर जाँचा जाता है, और स्कोर 800 समस्याओं में से हल की गई का अनुपात है — CRUXEval-I (इनपुट) और CRUXEval-O (आउटपुट) के लिए अलग-अलग।
सत्यापन: हर अनुमान को निष्पादन द्वारा सत्यापित किया जाता है, स्ट्रिंग मिलान द्वारा नहीं। आउटपुट उत्तर केवल तभी स्वीकार होता है जब वह फ़ंक्शन के वास्तविक लौटाए मान के बराबर हो; इनपुट उत्तर केवल तभी स्वीकार होता है जब उसे फ़ंक्शन में डालने पर वह वास्तव में लक्ष्य आउटपुट देता है, इसलिए कोई भी मान्य इनपुट चलता है, केवल मूल ही नहीं।
यह क्यों मायने रखता है: निष्पादन-व्यवहार का अनुमान कोड-तर्क को कोड-लेखन से अलग कर देता है — मॉडल विश्वसनीय दिखने वाला कोड लिख सकता है बिना यह समझे कि वह असल में क्या करता है। फ़ंक्शन सरल और स्वतः-पूर्ण हैं, जो CRUXEval को इस कौशल की स्वच्छ जाँच बनाते हैं, और दोनों दिशाएँ आगे (आउटपुट) और पीछे (इनपुट) दोनों तर्क का परीक्षण करती हैं।

हल किया गया उदाहरण

कार्य

def f(nums): result = [] for n in nums: result.append(n * 2) return result assert f([1, 2, 3]) == ?? CRUXEval-O (आउटपुट अनुमान): ?? को उस मान से बदलें जो f लौटाता है।

समाधान

[2, 4, 6]

व्याख्या

लूप [1, 2, 3] के प्रत्येक तत्व को दोगुना करता है, जिससे [2, 4, 6] बनता है। ग्रेडिंग assert f([1, 2, 3]) == [2, 4, 6] चलाती है और उत्तर केवल तभी स्वीकार करती है जब यह अभिकथन पास हो।

इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।