एक उपयोगकर्ता Strix Halo सिस्टम पर Qwen 3.5 122B जैसे बड़े मॉडल चलाते समय लंबे प्रीफिल समय को कम करने के लिए llama-server में KV कैश कॉन्फ़िगरेशन को अनुकूलित करने में सहायता का अनुरोध कर रहा है।
- उपयोगकर्ता ने VRAM और संदर्भ विंडो को प्रबंधित करने के लिए --cache-ram 16384, --ctx-checkpoints 72, और --checkpoint-min-step 4096 कॉन्फ़िगर किए हैं।
- 100k संदर्भ पर पूर्ण कैश मिस लगभग 10-20 मिनट का प्रीफिल समय देता है, जिसे अत्यंत समस्याजनक माना जाता है।
- उपयोगकर्ता के प्रॉम्प्ट के बाद कभी-कभी चेकपॉइंट चूक होते हैं, विशेष रूप से Crush coding agent या Codex जैसे एजेंटिक वर्कफ़्लो में।
- पुराने चेकपॉइंट समय के साथ गायब हो जाते प्रतीत होते हैं, जिसकेवल कुछ सक्रिय संदर्भ चेकपॉइंट छोड़ देते हैं और बड़ी चूकों के दौरान पुनः प्रसंस्करण का कारण बनते हैं।
- उपयोगकर्ता उपलब्ध चेकपॉइंट की संख्या को दोगुना करने के लिए K/V क्वांटीकरण (उदाहरण के लिए, q8) पर विचार कर रहा है, लेकिन यह सवाल उठा रहा है कि q4 में पहले से मौजूद मॉडल के लिए गुणवत्ता पर इसका क्या प्रभाव पड़ेगा।
उपयोगकर्ता तेज़ एजेंटिक इटेरेशन के दौरान प्रदर्शन को बेहतर बनाने के लिए कैश सेटिंग्स के फाइन-ट्यूनिंग और चेकपॉइंट मिस मुद्दों को हल करने पर समुदाय की राय की उम्मीद कर रहा है।