llama-server में एक बग के कारण प्रोसेस रीस्टार्ट के बाद पहला क्वेरी पुनर्जलीकृत KV कैश को फेंक देता है और पूर्ण प्रॉम्प्ट रिप्रीफिल करता है, जिससे सेव/रिस्टोर सुविधा बेकार हो जाती है। मूल कारण यह है कि चेकपॉइंट मेटाडेटा डिस्क पर पर्सिस्ट नहीं किया गया था, जिससे सर्वर वैध कैश स्थानों पर वापस नहीं जा सका।
- फिक्स सल्ट सेव और रीलोड के दौरान चेकपॉइंट मेटाडेटा को एक वर्शनद साइडकार फाइल में पर्सिस्ट करता है और रिस्टोर के दौरान इसे लोड करता है।
- इससे सर्वर पुनः गणना करने के बजाय डेल्टा क्वेरीज़ के लिए कैश किए गए स्टेट्स का पुन: उपयोग कर सकता है।
- बेंचमार्क दिखाते हैं कि पूर्ण रिप्रीफिल की तुलना में डेल्टा प्रीफिल के लिए ~720x गति वृद्धि और एंड-टू-एंड रीज्यूम के लिए ~167x गति वृद्धि है।
- पैच llama-cpp-turboquant फोर्क में PR #206 के रूप में उपलब्ध है।
यह बदलाव बजट हार्डवेयर पर लॉन्ग-कॉन्टेक्स्ट वर्क की इच्छित कार्यक्षमता को पुनर्स्थापित करता है, यह सुनिश्चित करके कि रीस्टार्ट के बाद कैश किए गए स्टेट्स का वास्तव में उपयोग किया जाए।