llama.cpp प्रोजेक्ट ने संस्करण b10456 जारी किया, जिसमें क्वांटाइज्ड कॉपी kernel लॉन्च में SYCL बैकएंड के लिए एक महत्वपूर्ण सुधार शामिल है। अपडेट थ्रेड और ब्लॉक काउंट को क्वांटाइज़ेशन आकार के समानुपाती बनाता है, जिससे अंडर- और ओवर-सब्सक्रिप्शन समस्याओं में प्रभावी रूप से कमी आती है।

  • क्वांटाइज्ड cpy kernel लॉन्च में थ्रेड/ब्लॉक काउंट ठीक किया गया (PR #27160)।
  • Arc 70 पर q4_0 -> f32 पथ के लिए थ्रूपुट 20.21 GB/s से बढ़कर 158.19 GB/s हो गया है।
  • अन्य क्वांटाइज़ेशन पथों में प्रदर्शन में समान वृद्धि दिखाई गई है।
  • CPU, CUDA, Vulkan, ROCm, OpenVINO और SYCL बैकएंड के लिए macOS, Linux, Windows, Android और openEuler पर बाइनरी उपलब्ध हैं।

यह बदलाव SYCL बैकएंड का उपयोग करने वाले Intel Arc GPU पर डेटा ट्रांसफर दक्षता को काफी बेहतर बनाता है, जिससे क्वांटाइज्ड ऑपरेशन में एक प्रमुख प्रदर्शन बाधा दूर हुई है।