रेडिट के एक यूज़र ने Hugging Face पर Hy3 मॉडल का 1-बिट क्वांटाइज्ड वर्जन अपलोड किया है, विशेष रूप से iq1m फॉर्मेट का उपयोग करके। इस चेकपॉइंट का सबसे छोटा वेरिएंट लगभग 89 GB आकार का है।
- मॉडल Hugging Face पर AngelSlim/Hy3-GGUF के रूप में उपलब्ध है।
- यह iq1m कंप्रेशन का उपयोग करके सबसे छोटे संस्करण के लिए 89 GB फ़ाइल आकार प्राप्त करता है।
- टेस्टिंग दिखाती है कि भारी कंप्रेशन के बावजूद क्वांटाइज्ड मॉडल महत्वपूर्ण गुणवत्ता और सहसंबंध बनाए रखता है।
- उदाहरणों में HTML फ्लाइट सिम्युलेटर, पंडा और पेलिकन के SVG, और कैपिबारा की छवियों का जनरेशन शामिल हैं।
पोस्ट इस बात पर प्रकाश डालती है कि मॉडल जितने बड़े हो जाते हैं, 1-बिट क्वांटीकरण स्थानीय इनफरेंस के लिए उपयोग योग्य प्रदर्शन बनाए रख सकता है।