Spiritbuun ने अपने llama.cpp फ़ोर्क में वेरिएबल बिट रेट (VBR) सुविधा जोड़ी है, जिससे KV कैश क्वांटीकरण स्तर संदर्भ लंबाई बढ़ने के साथ गतिशील रूप से खराब हो सकता है। इससे उपयोगकर्ता न्यूनतम सटीकता फ्लोर सेट कर सकते हैं और उपलब्ध VRAM में फिट होने के लिए स्वचालित रूप से स्तरों को समायोजित कर सकते हैं।
- VBR स्टार्टअप पर शेष मेमोरी से KV VRAM बजट निकालता है और संदर्भ भरने के साथ-साथ स्तरों को फ्लाई में खराब करता है।
- Qwen3.6-35B-A3B के साथ RTX 3060 पर बेंचमार्क दिखाते हैं कि VBR स्थिर turbo4 की तुलना में लगभग 2x तेज TTFT (93ms बनाम 178ms) और कम VRAM उपयोग (10.2 GiB बनाम 11 GiB) हासिल करता है।
- VBR के साथ डिकोड TPS केवल ~4% धीमा है (50.85 बनाम 52.83), और संदर्भ बजट स्वचालित रूप से 216k टोकन के लिए फिट हो गया।
यह सुविधा उपयोगकर्ताओं को सीमित VRAM पर स्थानीय इनफरेंस को बढ़ावा देने में मदद करती है, कोडेक या संदर्भ लंबाई की मैन्युअल कॉन्फ़िगरेशन के बिना गतिशील संदर्भ समर्थन प्रदान करके।