llama.cpp b9859 रिलीज़ OpenCL के लिए लाइब्रेरी से प्रीकंपाइल्ड बाइनरी kernels लोड करने की क्षमता पेश करता है, विशेष रूप से Adreno GPUs को टारगेट करके। यह अपडेट CPU, GPU और विभिन्न एक्सेलेरेटर बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी भी प्रदान करता है।
- ggml-backend-dl के माध्यम से बाइनरी kernel लाइब्रेरी लोड करने की अनुमति देता है ताकि चक्रीय निर्भरताओं को हल किया जा सके।
- kernel लाइब्रेरी से gemm_moe_mxfp4_f32_ns, q8_0, q4_0, q4_1 और q4_k moe gemm जैसे विशिष्ट kernels लोड करता है।
- OpenCL Adreno समर्थन के लिए get_adreno_bin_kernel_func_t को हमेशा घोषित करता है।
- इस रिलीज़ में KleidiAI के साथ macOS Apple Silicon अक्षम है।
यह सुधार प्रीकंपाइल्ड बाइनरी kernels को सक्षम करके OpenCL प्रदर्शन को बढ़ाता है, जबकि व्यापक हार्डवेयर प्लेटफॉर्म के साथ संगतता बनाए रखता है।