एक उपयोगकर्ता ने Tencent के 295B-A21B MoE मॉडल, HY3 को एक MacBook M5 Max पर 128GB एकीकृत मेमोरी के साथ सफलतापूर्वक चलाया, जिसमें एक क्वांटाइज्ड GGUF चेकपॉइंट और llama.cpp का उपयोग किया गया। सेटअप ने DeepSeek v4 Flash की तुलना में लगभग दोगुनी टोकन जनरेशन गति हासिल की, जबकि आउटपुट गुणवत्ता समान या बेहतर बनी रही।
- मॉडल Hugging Face उपयोगकर्ता YanissAmz से UD128 "unsloth dynamic" 3-बिट क्वांटाइजेशन (107GB) का उपयोग करता है।
- HY3 की आर्किटेक्चर और स्पेकुलेटिव डिकोडिंग के लिए समर्थन PR #25395 के माध्यम से llama.cpp में जोड़ा गया था।
- M5 Max पर बेंचमार्क ने खाली संदर्भ पर 32.4 tok/s डिकोड गति और 16K संदर्भ पर 16.3 tok/s दिखाया।
- उपयोगकर्ता ने नोट किया कि सामान्य प्रॉम्प्ट्स और बुनियादी टूल उपयोग पर व्यावहारिक प्रदर्शन उनकी पिछली DeepSeek v4 सेटअप से बेहतर था।
लेखक HY3 को उच्च मेमोरी वाले उपभोक्ता हार्डवेयर पर स्थानीय तौर पर तैनात करने के लिए एक वादा करने वाले बड़े MoE विकल्प के रूप में उजागर करता है, और अन्य लोगों को इसे आज़माने के लिए प्रोत्साहित करता है।