llama.cpp परियोजना ने संस्करण b11042 जारी किया है, जिसमें A8 Q6_K गैर-MoE मॉडलों के लिए एक नया OpenCL बाइनरी कर्नेल पेश किया गया है। इस अपडेट में OpenCL बैकएंड के भीतर लेआउट संगतता के लिए ठीक किए गए हैं।

  • `kernel_gemm_noshuffle_q6_k_f32_32b_trans_ila_a8_bin` OpenCL कर्नेल जोड़ा गया है।
  • OpenCL कार्यान्वयन में लेआउट संगतता की समस्याओं को हल किया गया है।
  • macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL) और openEuler के लिए बाइनरी प्रदान किए गए हैं।

यह रिलीज OpenCL डिवाइसों पर विशिष्ट क्वांटीकरण फॉर्मेट्स के लिए हार्डवेयर समर्थन का विस्तार करती है, जबकि मुख्य ऑपरेटिंग सिस्टम और GPU आर्किटेक्चर के बीच व्यापक संगतता बनाए रखती है।