قام المطور liventruth بنشر Unified Latent-State Memory Fabric (UL-SMF) كمصدر مفتوح، وهو بنية مصممة بشكل مشترك بين العتاد والبرمجيات تضغط مخازن FP32 القياسية لـ Key-Value إلى فضاء كامن منفصل ذي بعد 16 باستخدام Finite Scalar Quantization (FSQ).
- تحقق نسبة ضغط تبلغ 384x، مما يقلل كتلة FP32 بحجم 48 ميجابايت إلى 0.12 ميجابايت.
- تحافظ على تشابه جيب التمام بنسبة 94.15% - 95.84% للحفاظ على الدلالة في موترات الانتباه لـ LLM الحقيقية.
- تُظهر زمن انتقال عبر الأنابيب يقارب 14.1 مللي ثانية إلى 19.6 مللي ثانية في التحقق من أحداث CUDA الشاملة.
- توفر حزمة Python ذاتية المحتوى تتيح للمستخدمين تعديل طبقات الانتباه القياسية في Transformer بإسطرين من الكود.
يهدف UL-SMF إلى حل عنق الزجاجة الذاكرة في استنتاج Transformer ذي السياق الطويل من خلال الجمع بين FSQ والتعيين الكامن الديناميكي، وهو مرخص بموجب رخصة مزدوجة AGPLv3 مع خيارات تجارية متاحة.