Ante 0.preview.71 हार्नेस का उपयोग करके एक स्वतंत्र मूल्यांकन की पुष्टि करता है कि DeepSeek V4 Flash 0731 ने Terminal-Bench 2.1 पर 82.7% सटीकता स्कोर हासिल किया, जो DeepSeek के पूर्व में रिपोर्ट किए गए परिणामों से मेल खाता है।
- रन में 89 कार्यों पर 445 प्रयास शामिल थे, जिनमें से प्रत्येक कार्य के लिए 5 प्रयास और अधिकतम तर्क प्रयास था।
- मॉडल ने 445 में से 368 सफल प्रयास हासिल किए, जिससे 82.7% (±1.79 SE) सटीकता मिली।
- मूल्यांकन ने `deepseek/deepseek-v4-flash-0731` मॉडल का उपयोग OpenRouter के माध्यम से किया, बिना किसी कौशल को सक्षम किए।
सभी कॉन्फ़िगरेशन और प्रयास रिकॉर्ड सत्यापन के लिए Harbor जॉब में सार्वजनिक रूप से उपलब्ध हैं।
परिणाम दर्शाते हैं कि DeepSeek V4 Flash 0731 का प्रदर्शन मूल्यांकन हार्नेस के प्रति संवेदनशील है, जिससे बेंचमार्किंग के लिए उपयोगी डेटा मिलता है।