लॉर्डनील ने Tencent के 295B MoE Hy3 मॉडल और NVIDIA की ऑडियो-सक्षम 30B हाइब्रिड MoE Nemotron-Labs-Audex-30B-A3B के लिए GGUF क्वांटीज़ेशन सेट प्रकाशित किए हैं, जिसमें पूर्ण बेंचमार्क डेटा और पुनरुत्पादक मेट्रिक्स शामिल हैं।
- Hy3 क्वांट में Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB) और IQ2_M (90 GiB) शामिल हैं, जिनकी गुणवत्ता WikiText-2 पर BF16 संदर्भ लॉगिट्स के खिलाफ मापी गई है।
- Nemotron-Labs-Audex क्वांट में टेक्स्ट-केवल GGUF और पूर्ण-वोकब ऑडियोजेन फ़ाइलें प्रदान करते हैं, जिसमें छोटे फ़ाइल आकार और उच्च थ्रूपुट के लिए MXFP4_MOE शामिल है।
- दोनों रिपो में पुनरुत्पादकता सुनिश्चित करने के लिए चार्ट, चेकसम, क्वांट प्लान और प्रति-क्वांट लॉग शामिल हैं, ताकि व्यक्तिगत गुणवत्ता दावे किए बिना काम हो सके।
इस रिलीज़ ने उपयोगकर्ताओं को इन बड़े मॉडल को स्थानीय रूप से चलाने के लिए पारदर्शी, डेटा-संचालित विकल्प प्रदान किए हैं, जिसमें विशिष्ट हार्डवेयर सिफारिशें और टेंसर फॉलबैक जैसी ज्ञात सीमाएं शामिल हैं।