llama.cpp प्रोजेक्ट ने संस्करण b10427 जारी किया, जिसमें SYCL के माध्यम से Intel Arc GPUs के लिए एक प्रदर्शन अनुकूलन शामिल है। अपडेट q4_K घन फीड-फॉरवर्ड नेटवर्क (FFN) परत के भीतर gate, up और GLU ऑप्स के विलय को लागू करता है।

  • llama-bench का उपयोग करके Arc Pro B70 पर मापा गया, qwen2.5-3B-Instruct के लिए थ्रूपुट में 2.8% की वृद्धि हुई और gemma-2-2b-it के लिए 2.0% की वृद्धि हुई।
  • qwen2.5-3B पर बैच्ड इनफरेंस बेंचमार्क ने महत्वपूर्ण लाभ दिखाए: बैच साइज 1 पर +3.4%, B=2 पर +10.1% तक बढ़कर, B=4 पर +10.7% और B=8 पर +12.4%।

इस रिलीज़ में CPU, CUDA, Vulkan, ROCm और OpenVINO बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए प्रीकंपाइड बाइनरी प्रदान की गई हैं।