हाल ही में जारी किए गए Hy3 मॉडल का समर्थन जोड़ने के लिए llama.cpp में एक पुल अनुरोध (pull request) विलय किया गया है, जिससे उपयोगकर्ता इसे GGUF फॉर्मेट का उपयोग करके चला सकें।
- कार्यान्वयन ggml-org/llama.cpp रिपॉजिटरी पर PR #25395 में उपलब्ध है।
- प्रारंभिक परीक्षण से पता चलता है कि RTX 5090 पर Zen 4 आर्किटेक्चर और 96GB DDR5 के साथ लगभग 10-11 टोकन प्रति सेकंड की गति पर Q2_K क्वांटाइज्ड मॉडल से सहसंबद्ध (coherent) आउटपुट मिल रहा है।
- Hy3 के लिए GGUF चेकपॉइंट satgeze द्वारा बनाए रखे गए Hugging Face रिपॉजिटरी के माध्यम से उपलब्ध हैं।
इस अपडेट से उपयोगकर्ता llama.cpp के इनफरेंस इंजन का उपयोग करके स्थानीय रूप से Hy3 मॉडल चला सकते हैं।