llama.cpp प्रोजेक्ट ने संस्करण b9910 जारी किया, जो सर्वर घटक में ड्राफ्ट मॉडल फिटिंग और लोडिंग के बीच एक महत्वपूर्ण असंगति को संबोधित करता है। इस अपडेट में ड्राफ्ट मॉडल लोडिंग के दौरान प्रोग्रेस कॉलबैक थ्रॉटलिंग समस्या के लिए एक ठीक शामिल है और स्पेकुलेटिव इनिशियलाइजेशन को पुनर्गठित किया गया है।
- ड्राफ्ट/मल्टी-टोकन प्रिडिक्शन पैरामीटर इनिशियलाइजेशन, मॉडल और कॉन्टेक्स्ट लोडिंग को एकीकृत करता है।
- स्पेकुलेटिव इनिशियलाइजेशन तर्क को speculative.cpp में ले जाता है।
- server_context_impl model_dft और ctx_dft को रॉ पॉइंटर्स का उपयोग करने के लिए बदलता है।
- इस रिलीज़ में macOS Apple Silicon KleidiAI समर्थन को अक्षम कर देता है।
- macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी प्रदान करता है।
यह रिलीज़ स्पेकुलेटिव डिकोडिंग का उपयोग करते समय सर्वर संचालन को स्थिर बनाती है, मूल इनिशियलाइजेशन और लोडिंग तंत्रों को ठीक करके।