llama.cpp प्रोजेक्ट ने संस्करण b9852 जारी किया है, जिसमें q1_0 क्वांटाइज़ेशन फॉर्मेट के लिए प्रारंभिक OpenCL सपोर्ट शामिल है। इस अपडेट में सामान्य q1_0 क्षमताएं और OpenCL डिवाइसों के लिए विशिष्ट Adreno GEMM/GEMV कार्यान्वयन शामिल हैं।
- q1_0 क्वांटाइज़ेशन के लिए प्रारंभिक OpenCL सपोर्ट
- q1_0 के लिए Adreno GEMM/GEMV kernels जोड़े गए
- macOS Apple Silicon (arm64) बाइनरी उपलब्ध कराई गई
- इस रिलीज में macOS Apple Silicon पर KleidiAI अक्षम किया गया है
- CPU, Vulkan, ROCm 7.2, OpenVINO, और SYCL के लिए Ubuntu बिल्स उपलब्ध हैं
- Windows बिल्स में CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP, और OpenCL Adreno शामिल हैं
- Android arm64 (CPU) बाइनरी जारी की गई
- ACL Graph सक्षम के साथ x86 और aarch64 आर्किटेक्चर के लिए openEuler सपोर्ट
यह रिलीज OpenCL डिवाइसों पर कुशल q1_0 इनफरेंस को सक्षम बनाकर हार्डवेयर संगतता का विस्तार करती है और कई ऑपरेटिंग सिस्टम और एक्सेलेरेटर के लिए अपडेटेड बाइनरी प्रदान करती है।