llama.cpp प्रोजेक्ट ने संस्करण b10908 जारी किया, जिसमें ne00 < 1024 के लिए शेष iq mul_mv kernels में आइडल थ्रेड्स के लिए एक सुधार शामिल है। यह बदलाव पंक्ति विभाजन तर्क को छह विशिष्ट kernels तक व्यापक बनाता है: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s, और iq3_s।
- सुधार उन मामलों को संबोधित करता है जहां पंक्तियों में 32 चंक्स से कम होते हैं, थ्रेड्स को चंक्स साझा करने और पंक्तियों के स्लाइस लेने की अनुमति देता है।
- यह iq mul_mv kernels में src0 पंक्ति संकेतक को एक बार ऑफसेट करता है क्योंकि q2, dh, sc, qh, और चिन्ह xr से व्युत्पन्न होते हैं।
- कार्यान्वयन iq mul_mv पंक्ति विभाजन को offset0 में फोल्ड करता है ताकि x और इसके व्युत्पन्न संकेतकों को मौजूदा मार्ग पर रखा जा सके।
इस रिलीज में macOS, Linux, Android, Windows, और openEuler के लिए विभिन्न आर्किटेक्चर जैसे CPU, CUDA, ROCm, Vulkan, और SYCL के लिए बाइनरी प्रदान किए गए हैं।