llama.cpp परियोजना ने बिल्ड b10777 जारी किया, जिसमें Q4_K मल्टी-कॉलम मैट्रिक्स-वेक्टर गुणन (MMVQ) के लिए SYCL बैकएंड में अनुकूलन शामिल हैं। अपडेट वजन अनपैकिंग और सक्रियण पुन: उपयोग रणनीतियों के माध्यम से अनावश्यक कंप्यूटेशनल कार्य को कम करने पर केंद्रित है।
- Q4_K वजन अनपैकिंग का अनुकूलन करता है और लक्ष्य कॉलम के बीच डेटा को पुन: उपयोग करता है।
- दो आउटपुट पंक्तियों में छोटे N मानों (N=2..4) के लिए सक्रियण की सबग्रुप पुन: उपयोग लागू करता है।
- दक्षता बढ़ाने के लिए दो-पंक्ति पुन: उपयोग पैटर्न को विशेष रूप से N=2 के लिए गेट करता है।
- जादुई संख्या सीमा को Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272 तक अपडेट करता है और Q4_K MUL_MAT कवरेज के लिए प्रदर्शन परीक्षण जोड़ता है।
इस रिलीज़ में CPU, CUDA, ROCm, Vulkan, OpenVINO और SYCL सहित विभिन्न हार्डवेयर बैकएंड्स के लिए macOS, Linux, Android, Windows और openEuler के लिए पूर्व-निर्मित बाइनरी प्रदान की गई हैं।