llama.cpp प्रोजेक्ट ने संस्करण b11440 जारी किया, जिसमें स्पेकुलेटिव MTP इनिशियलाइजेशन के लिए एक फिक्स शामिल है। अपडेट सुनिश्चित करता है कि NextN एक्सट्रैक्शन फ्लैग बदलने पर शेड्यूलर को पुनः आरक्षित किया जाए, जिससे अनमस्क्ड एक्सट्रैक्शन के साथ समस्याओं से बचा जाता है।
- स्पेकुलेटिव MTP इनिशियलाइजेशन अब निर्माण के बाद टारगेट और ड्राफ्ट संदर्भों में NextN एक्सट्रैक्शन सक्षम करता है।
- ट्रंक ग्राफ आउटपुट पंक्तियों तक काटने के बजाय अंतिम परत तक हर टोकन को बनाए रखता है।
- फ्लैग बदलने पर रीज़र्व को अमान्य करने से अगले कंप्यूट को नए ग्राफ आकार के साथ पुनः आरक्षित करने की अनुमति मिलती है।
- बाइनरी macOS, Linux, Windows, Android और iOS के लिए CPU, GPU और NPU बैकएंड्स के लिए उपलब्ध हैं।
यह बदलाव डिकोडिंग के दौरान सही बैच आकार आवंटन सुनिश्चित करके GGML_SCHED_DEBUG_REALLOC त्रुटियों को रोकता है।