llama.cpp परियोजना ने संस्करण b9908 जारी किया, जिसमें सर्वर के प्रॉम्प्ट कैश RAM उपयोग के लिए एक कठोर सीमा पेश की गई है। पहले, कैश सेव करने की कार्रवाइयों के दौरान एंट्रीज़ को बनाए रखते हुए निर्दिष्ट सीमाओं को अस्थायी रूप से पार कर सकता था।
- --cache-ram फ्लैग अब RAM सीमा से अधिक होने पर स्थिति को सेव करने से कड़ाई से रोकता है।
- नई एंट्रीज़ के लिए जगह बनाने के लिए आवश्यकतानुसार पुरानी कैश एंट्रीज़ को निकाल दिया जाता है।
- टोकन-सीमा सफाई अब एक को बनाए रखने के बजाय अंतिम शेष कैश एंट्री को भी निकाल सकती है।
- इस रिलीज़ में macOS Apple Silicon KleidiAI समर्थन अक्षम कर दिया गया है।
इस बदलाव से यह सुनिश्चित होता है कि प्रॉम्प्ट कैश मेमोरी बाधाओं का अधिक विश्वसनीय रूप से सम्मान करे, अस्थायी ओवरफ्लो को रोकता है।