डेवलपर liventruth ने यूनिफाइड लैटेंट-स्टेट मेमोरी फैब्रिक (UL-SMF) को ओपन-सोर्स किया है, जो एक हार्डवेयर-सॉफ्टवेयर सह-डिज़ाइन आर्किटेक्चर है जो फाइनिट स्केलर क्वांटीजेशन (FSQ) का उपयोग करके मानक FP32 की-वैल्यू कैश को 16-आयामी डिस्क्रीट लैटेंट स्पेस में संपीड़ित करता है।
- 384x संपीड़न अनुपात प्राप्त करता है, जिससे 48 MB FP32 ब्लॉक को 0.12 MB में कम किया जाता है।
- वास्तविक LLM एटेंशन टेंसर पर अर्थवैधता बनाए रखने के लिए 94.15% - 95.84% कोसाइन समानता बनाए रखता है।
- एंड-टू-एंड CUDA इवेंट सत्यापन में लगभग 14.1 ms से 19.6 ms का पाइपलाइन लेटेंसी प्रदर्शित करता है।
- उपयोगकर्ताओं को दो पंक्तियों के कोड के साथ मानक ट्रान्सफॉर्मर एटेंशन परतों में मंकी-पैच लगाने की अनुमति देने वाला एक स्वयं-समावेशी पायथन पैकेज प्रदान करता है।
UL-SMF लंबे-संदर्भ ट्रान्सफॉर्मर इनफरेंस में मेमोरी बॉटलनेक को हल करने का लक्ष्य रखता है, जो FSQ को गतिशील लैटेंट मैपिंग के साथ जोड़ता है, और यह AGPLv3 के तहत डुअल-लाइसेंस किया गया है जिसमें व्यावसायिक विकल्प उपलब्ध हैं।