llama.cpp प्रोजेक्ट ने b10693 बिल्ड जारी किया, जिसमें Qualcomm Hexagon NPUs के लिए समर्थन शामिल है। इस अपडेट से उपलब्ध NPU कोर का रनटाइम पर खोज संभव होता है और अनुरोध पर इनफरेंस सत्र बनाने की सुविधा मिलती है।
- Hexagon डिवाइसों के लिए लेजी सत्र आवंटन और क्लीनअप इंटरफेस जोड़े गए।
- उपलब्ध NPU कोर का रनटाइम पर खोज लागू किया गया।
- प्रारंभिकरण के दौरान गैर-मौजूद डिवाइसों की शीघ्र अस्वीकृति कॉन्फ़िगर की गई।
- CPU, Vulkan, ROCm, OpenVINO, SYCL और CUDA बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान किए गए।