एक Reddit उपयोगकर्ता रिपोर्ट करता है कि Open Code endpoint के माध्यम से benchmarking के बाद Mimo v2.5 कोडिंग कार्यों में DeepSeek V4 Flash से बेहतर प्रदर्शन करता है। लेखक ने Terminal Bench v2.0 harness का उपयोग करके कई मॉडलों का परीक्षण किया, और पाया कि Hermes ने Mimo v2.5 के साथ 55% स्कोर प्राप्त किया जबकि अन्य संयोजनों ने 50% से कम स्कोर किया। हालांकि DeepSeek V4 Flash को एक मजबूत मॉडल माना जाता है, उपयोगकर्ता ने पाया कि Mimo v2.5 वास्तविक जीवन की जटिल समस्याओं के समाधान के लिए अधिक सहायक था।
- Hermes ने Open Code endpoint के माध्यम से Mimo v2.5 के साथ जोड़े जाने पर Terminal Bench v2.0 पर 55% स्कोर हासिल किया।
- अन्य मॉडलों और harnesses, जिसमें DeepSeek V4 Flash शामिल है, ने उसी टेस्ट में 50% से कम स्कोर किया।
- उपयोगकर्ता ने Hy3 Preview का परीक्षण किया लेकिन पाया कि इसके स्कोर कम थे और उसे लगा कि यह benchmarks पर अत्यधिक प्रशिक्षित था।
- Hermes को इस विशिष्ट case study में low-level मॉडलों के लिए superior CLI tool के रूप में पहचाना गया।