शोधकर्ताओं ने JoLT पेश किया, जो ट्रान्सफॉर्मर इनफरेंस में कुंजी-मान (KV) कैश को संपीड़ित करने की एक विधि है, जिसे इसे एक तृतीय-क्रम टेंसर के रूप में माना जाता है। दृष्टिकोण टोकन और विशेषता अक्षों पर आंशिक टकर अपघटन लागू करता है जबकि ट्रंकेशन के दौरान खोई गई ऊर्जा को पुनर्स्थापित करने के लिए जॉनसन-लिंडेनस्ट्रास घुमाए गए कम-बिट अवशेषों का उपयोग करता है।
- एकल लैग्रेंजियन द्वंद्व एक बाइट बजट के तहत परत समूह के प्रति टकर रैंक और अवशेष बिट-चौड़ाई आवंटित करता है।
- JoLT 2-3x संपीड़न प्राप्त करता है, जिसमें perplexity, GSM8K सटीकता, और RULER पुनर्प्राप्ति Mistral-7B-v0.3 और LLaMA-2-13B पर अविघटित आधार के सांख्यिकीय शोर की सीमा में रहते हैं।
- 2x संपीड़न पर, कुंजियों के लिए सापेक्ष फ्रोबेनियस त्रुटि 0.009 है और मानों के लिए 0.006, जो क्रॉस-परत SVD और 4-बिट क्वांटाइज़ेशन से एक आदेश की मात्रा में कम है।
- फ्लैशजोल्ट नामक यादृच्छिक-SVD विविधता समान गुणवत्ता पर संपीड़न समय में 5-13x गति प्रदान करती है।
यह विधि मॉडल प्रदर्शन को बिगड़ाए बिना KV कैश आकार को महत्वपूर्ण रूप से कम करके ट्रान्सफॉर्मर इनफरेंस के प्रभावी मेमोरी खर्च को संबोधित करती है।