llama.cpp में हालिया अपडेट्स ने SYCL/Intel हार्डवेयर के लिए कई सुधार पेश किए हैं, जिसमें प्रदर्शन में वृद्धि और नए फीचर समर्थन शामिल हैं।
- oneDNN ग्राफ़ API के माध्यम से XMX इंजन के साथ Flash Attention अब Xe2 आर्किटेक्चर के लिए उपलब्ध है, जिससे Qwen3.6-27b-Q8_0 जैसे मॉडल्स के लिए prefill स्पीड में काफी वृद्धि हुई है।
- कोडबेस अब XIELU ऑपरेशन टाइप का समर्थन करता है और conv2d_dw kernel के लिए fp16 समर्थन जोड़ता है।
- फिक्स में USM सिस्टम अलाइनमेंट के लिए न्यूनतम बफर आकार बढ़ाना और Q2_K, Q4_K और Q5_K क्वांटीज़ेशन के लिए get_rows ऑपरेशंस में त्रुटियों को ठीक करना शामिल है।
ये बदलाव SYCL बैकएंड का उपयोग करके Intel GPU पर llama.cpp चला रहे उपयोगकर्ताओं के लिए संगतता और प्रदर्शन को बढ़ाते हैं।