llama.cpp परियोजना ने बिल्ड b10584 जारी किया, जिसमें एक महत्वपूर्ण मुद्दे को संबोधित किया गया जहाँ ड्राफ्ट संदर्भ का आकार लक्ष्य संदर्भ से मेल नहीं खाता था, जिससे सर्वर अनुरोध 500 त्रुटियों के साथ विफल हो जाते थे।
- सर्वर अब यह सुनिश्चित करता है कि ड्राफ्ट संदर्भ लक्ष्य संदर्भ के आकार का पालन करे, पिछली सीमाओं से परे स्लॉट भरने पर डिकोडिंग विफलताओं को रोकते हुए।
- ड्राफ्ट मॉडल के लिए मेमोरी रिज़र्वेशन उस सबसे बड़े संदर्भ पर मापा जाता है जिसे लक्ष्य ले सकता है, जिससे लक्ष्य के साथ सेल साझा करने वाले संदर्भ kv_size ओवरराइड को छोड़ सकते हैं।
- fit फ़ंक्शन अब एक वैकल्पिक दूसरे मॉडल को ध्यान में रखता है, यह सुनिश्चित करते हुए कि मुख्य संदर्भ बदलने पर उसकी मेमोरी मापी जाए ताकि reduce पथ सटीक रहे।
यह अपडेट ड्राफ्ट और लक्ष्य संदर्भ आकारों को गतिशील रूप से संरेखित करके सर्वर डिप्लॉयमेंट में स्थिरता मुद्दों को हल करता है।