llama.cpp b10016 रिलीज ने oneDNN ग्राफ़ API के माध्यम से XMX इंजन का उपयोग करके Flash Attention के लिए SYCL समर्थन पेश किया। यह अपडेट मुख्य रूप से Intel Battlemage (Xe2) हार्डवेयर के लिए लक्षित है, इस आर्किटेक्चर तक सुविधा के दायरे को संकर करते हुए जबकि अन्य आर्किटेक्चर मौजूदा kernels पर वापस चले जाते हैं।
- F16 Flash Attention 512 अनुक्रम लंबाई पर Qwen3.6-27b-Q8_0 के लिए 1.21x prefill गति वृद्धि और 80k पर 4.26x गति वृद्धि प्रदान करता है।
- Meta-Llama-3.1-8B-Instruct पर बेंचमार्क में perplexity में केवल 0.11% अंतर के साथ prefill प्रदर्शन में 32% की वृद्धि दिखाई देती है।
- कार्यान्वयन में Battlemage gate, stream हैंडलिंग के लिए मल्टी-डिवाइस सिंक और मल्टी-GPU सिंक समस्याओं के लिए ठीक शामिल हैं।
यह बदल संगत Intel GPUs पर हार्डवेयर-विशिष्ट त्वरण क्षमताओं का लाभ उठाकर तेज़ inference सक्षम बनाता है।