डेवलपर eramax ने एक ओपन-सोर्स पाइपलाइन और llama.cpp पैच जारी किया है जो बड़े GLM-5.2 Mixture of Experts मॉडल को संपीड़ित करता है ताकि यह 24 GB VRAM के साथ एकल RTX 3090 पर फिट हो सके।
दृष्टिकोण real-activation whitening और gate और up मैट्रिक्स के लिए एक साझा आधार का उपयोग करता है, जिससे माध्य विशेषज्ञ आकार ~1.4 MiB तक कम हो जाता है जबकि माध्य ऑफलाइन कोसाइन समानता 0.959 बनाए रखी जाती है। संपीड़ित codec ट्री ने कच्चे GGUF फॉर्मेट में सैकड़ों गिगाबाइट से स्टोरेज आवश्यकताओं को एक अंकीय गिगाबाइट तक कम कर दिया है। परत-दर-परत संपीड़न और लोडिंग की सफलता के बावजूद, 75 परतों में जमा त्रुटियों के कारण एंड-टू-एंड टेक्स्ट जनरेशन अभी भी टूटा हुआ है।
यह कार्य codec डिज़ाइन और कैलिब्रेशन पर आगे के विकास के लिए एक शोध हस्तांतरण के रूप में कार्य करता है, न कि एक पूर्ण उत्पाद के रूप में।