एक उपयोगकर्ता ने सफलतापूर्वक KVarN संरचित KV कैश क्वांटीकरण विधि को PrismML के Bonsai रनटाइम में पोर्ट किया, जिससे Bonsai-Ternary-27B मॉडल सीमित मेमोरी वाले हार्डवेयर पर कुशलता से चल सका।
- कार्यान्वयन ने उत्पादन गति में 68% की वृद्धि (73 बनाम 43 tok/s) और 120K संदर्भ पर VRAM उपयोग में 3.3GB की कमी का परिणाम दिया।
- कुल VRAM खपत लगभग 13.1GB से घटकर 9.8GB हो गई, जिससे मॉडल आराम से 10GB से कम में फिट हो सका।
- KVarN गुणवत्ता को समतल क्वांटीकरण विधियों की तुलना में बेहतर ढंग से बनाए रखने के लिए क्वांटीकरण से पहले वालश-हैडामार्ड रूपांतरण और सिंकहॉर्न भिन्नता संतुलन लागू करता है।
- TurboQuant की तुलना में इस विधि को अधिक संदर्भ रखने वाले उपयोग मामलों के लिए अधिक वादा करने वाला बताया गया है, हालांकि यह DFlash संगतता को तोड़ देता है।
यह दृष्टिकोण उपयोगकर्ताओं को लंबे संदर्भ लंबाई पर घन मॉडल चलाते समय उन्हें कम VRAM बाधाओं में फिट करने की अनुमति देता है, बिना किसी महत्वपूर्ण सटीकता हानि के।