llama.cpp प्रोजेक्ट ने b9969 संस्करण जारी किया, जिसने Vulkan बैकएंड में एक महत्वपूर्ण स्थिरता समस्या को संबोधित किया। अपडेट बड़ी मैट्रिक्स गुणन को Adreno GPU पर मध्यम टाइल्स की ओर रूट करता है, जो q4_0 क्वांटाइज्ड नेटवर्क और लंबे प्रॉम्प्ट आकार के कारण अपर्याप्त शेयर्ड मेमोरी के कारण होने वाले क्रैश को हल करता है।
- Vulkan matmuls में शेयर्ड मेमोरी उपयोग को अनुकूलित करके लंबे प्रॉम्प्ट्स के लिए llama-cli टूटने को ठीक करता है।
- उपयोग नहीं किए गए Adreno डिवाइस कोड को हटा देता है और छोटे पाइपलाइन matmul कार्यान्वयन को अपडेट करता है।
- macOS Apple Silicon बिल्ड्स के लिए KleidiAI समर्थन को अक्षम कर देता है।
- Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, HIP, SYCL), macOS, iOS, Android, और openEuler के लिए बाइनरी प्रदान करता है।
यह रिलीज बड़े संदर्भ विंडो के साथ Adreno डिवाइसों पर स्थिर इनफरेंस सुनिश्चित करती है और हार्डवेयर बैकएंड की एक व्यापक श्रृंखला में संगतता बनाए रखती है।