تقدم الورقة BiSCo-LLM، وهو إطار عمل خالٍ من كتب الشفرات مصمم لضغط أوزان نماذج اللغات الكبيرة جداً (LLM) ببت منخفض للغاية. يعالج قيود الطرق الحالية عن طريق القضاء على كتب الشفرات الصريحة والبحث عن الفهارس مع الحفاظ على سعة التمثيل.
- يتم تعيين كتل الأوزان المحلية على كرة فائقة الوحدة وتحويلها إلى رموز كروية مدمجة، باستخدام تدفق إشارات مضغوط بالبت كحمولة رئيسية.
- مرحلة BSQ المتبقية تشفر أخطاء إعادة البناء لتوفير مسار صريح لمعدل التشوه بدون كتب شفرات مخزنة.
- يتم تطبيق استعادة التقطير حسب الفئة بعد استبدال فئات وحدات Transformer لتقليل عدم التطابق بين إعادة بناء الأوزان المحلية وسلوك النموذج.
- مسار قناة محمية بـ 8 بت يثبت القنوات الحساسة ويُحتسب بشكل منفصل عن حمولة BSQ.
يوفر الإطار ميزانية تخزين تشمل الرموز الثنائية، والمفكوك العصبية، وحمولات القناة المحمية، ومعدلات LoRA، والبيانات الوصفية.