تم دمج طلب سحب في مكتبة llama.cpp لإضافة دعم لنموذج Hy3 الذي تم إصداره حديثًا، مما يتيح للمستخدمين تشغيله باستخدام تنسيقات GGUF.
- التنفيذ متاح في طلب السحب #25395 على مستودع ggml-org/llama.cpp.
- تشير الاختبارات الأولية إلى مخرجات متماسقة من النماذج المُكمّأة بـ Q2_K تعمل بسرعة حوالي 10-11 رمزًا في الثانية على جهاز RTX 5090 مع بنية Zen 4 وذاكرة DDR5 سعة 96 جيجابايت.
- نقاط التفتيش GGUF الخاصة بـ Hy3 متاحة عبر مستودع Hugging Face الذي يديره satgeze.
يُتيح هذا التحديث للمستخدمين تشغيل نموذج Hy3 محليًا باستخدام محرك الاستدلال في llama.cpp.