llama.cpp प्रोजेक्ट ने बिल्ड b10662 जारी किया, जिसमें एक नया `--kv-unified-per-slot` तर्क पेश किया गया है जो उपयोगकर्ताओं को unified KV कैश के लिए प्रति स्लॉट संदर्भ निर्दिष्ट करने की अनुमति देता है। यह बदलाव पिछले संदर्भ भिन्नता तंत्र को संदर्भ पूल स्लॉट्स से बदल देता है और अंतर्निहित कार्यान्वयन को पुनर्गठित करता है।
- unified KV कैश आवंटन को अधिक सूक्ष्मता से प्रबंधित करने के लिए `ctx-per-slot` तर्क जोड़ता है।
- मेमोरी प्रबंधन तर्क में सुधार के लिए ctx भिन्नताओं को ctx पूल स्लॉट्स से बदल देता है।
- पुराने `ctx-pool-slots` पैरामीटर को हटा देता है और `ctx-per-slot` को एक पूर्णांक प्रकार में परिवर्तित कर देता है।
- Xuan Son Nguyen द्वारा सामान्य फॉर्मेटिंग सफाई और कोड पुनर्गठन शामिल है।
यह अपडेट उपयोगकर्ताओं को unified KV कैश सिस्टम में कई स्लॉट्स के बीच संदर्भ विंडो वितरण पर अधिक सूक्ष्म नियंत्रण प्रदान करता है।