نجح مستخدم في تشغيل نموذج MoE الخاص بـ Tencent، HY3 (295B-A21B)، على MacBook M5 Max مزودًا بذاكرة موحدة سعتها 128 جيجابايت باستخدام نقطة تفتيش GGUF مُكمَّمة وllama.cpp. حققت هذه التكوينات سرعات توليد رموز تعادل ضعف سرعة DeepSeek v4 Flash مع الحفاظ على جودة إخراج مماثلة أو أفضل.
- يستخدم النموذج تكميمًا ثلاثي الأبعاد "unsloth dynamic" UD128 (107 جيجابايت) من المستخدم YanissAmz على Hugging Face.
- تمت إضافة دعم لـ HY3's architecture والتفكيك التخميني إلى llama.cpp عبر PR #25395.
- أظهرت نتائج الاختبارات على M5 Max سرعة تفكيك تبلغ 32.4 رمز/ثانية في سياق فارغ و16.3 رمز/ثانية في سياق 16K.
- لاحظ المستخدم أن الأداء العملي مع المطالبات العادية واستخدام الأدوات الأساسية كان متفوقًا على إعداد DeepSeek v4 السابق.
يُبرز المؤلف HY3 كخيار MoE كبير واعد للنشر المحلي على أجهزة المستهلك ذات الذاكرة العالية، مشجعًا الآخرين على تجربته.