llama.cpp प्रोजेक्ट ने संस्करण b10723 जारी किया, जिसमें Intel Xe-LP ग्राफिक्स हार्डवेयर के लिए OpenCL पर विशिष्ट अनुकूलन शामिल हैं। अपडेट क्वांटाइज़ेशन kernels को समायोजित करके टेंसर जनरेशन (TG) और प्रीफिल (PP) प्रदर्शन में सुधार पर केंद्रित है।

  • Intel उपकरणों पर 2x सक्रियण पुन: उपयोग सक्षम करने के लिए N_DST मान बढ़ाने के लिए Q4_K और Q5_K mul_mv ऑपरेशन ट्यून किए गए।
  • Intel आर्किटेक्चर के लिए विशेष रूप से Q4_K और Q5_K mul_mm ऑपरेशन के लिए 8x8 टाइल कॉन्फ़िगरेशन लागू किए गए।
  • डेटा हैंडलिंग को और अनुकूलित करने के लिए Q4_K mul_mv के लिए N_DST को 8 से बढ़ाकर 16 कर दिया गया।

इस रिलीज में CUDA, Vulkan, ROCm और SYCL सहित विभिन्न बैकएंड्स के लिए macOS, Linux, Windows, Android और iOS के लिए अपडेटेड बाइनरी प्रदान की गई हैं।