पत्र में BiSCo-LLM प्रस्तुत किया गया है, एक कोडबुक-मुक्त फ्रेमवर्क जो अत्यंत निम्न-बिट बड़े भाषा मॉडल वजन संपीड़न के लिए डिज़ाइन किया गया है। यह प्रतिनिधित्व क्षमता बनाए रखते हुए मौजूदा तरीकों की सीमाओं को स्पष्ट कोडबुक्स और इंडेक्स लुकअप को समाप्त करके दूर करता है।
- स्थानीय वजन खंडों को एक इकाई हाइपरस्फियर पर मैप किया जाता है और मुख्य भरण के रूप में बिट-पैक्ड साइन स्ट्रीम का उपयोग करते हुए द्विआधारी कोड में बदल दिया जाता है।
- एक अवशिष्ट BSQ चरण पुनर्निर्माण त्रुटियों को एन्कोड करता है ताकि संग्रहीत कोडबुक्स के बिना स्पष्ट दर-विकृति पथ प्रदान किया जा सके।
- स्थानीय वजन पुनर्निर्माण और मॉडल व्यवहार के बीच असंगति कम करने के लिए Transformer मॉड्यूल श्रेणियों को बदलने के बाद श्रेणी-वार रिकवरी डिस्टिलेशन लागू किया जाता है।
- एक 8-बिट सुरक्षित-चैनल पथ संवेदनशील चैनलों को स्थिर करता है और BSQ भरण से अलग गिना जाता है।
फ्रेमवर्क एक भंडारण बजट प्रदान करता है जिसमें द्विआधारी कोड, तंत्रिका डिकोडर्स, सुरक्षित-चैनल भरण, LoRA एडेप्टर्स और मेटाडेटा शामिल हैं।