llama.cpp परियोजना ने संस्करण b9893 जारी किया, जिसमें OpenCL flash attention डिकोडिंग के लिए सामान्य प्रदर्शन अनुकूलन शामिल हैं। इस अपडेट में f16, q8_0 और q4_0 KV कैश फॉर्मेट्स के लिए वेक्टराइज्ड flash-attention डिकोड kernels जोड़े गए हैं और non-flash-attention KQ मैट्रिक्स गुणन kernels को सुधारा गया है।
- DK=512 डिकोड ऑपरेशन CPU पर ओफ़लोड किए जाते हैं क्योंकि वे बैंडविड्थ-बाउंडेड हैं और गहराई बढ़ने के साथ GPU की तुलना में वहां तेज़ होते हैं।
- मल्टीक्वेरी flash attention kernels को न्यूनतम प्रोग्राम में कंपाइल किया जाता है ताकि बड़े आयामों पर Adreno कंपाइलर मेमोरी से बाहर न हो जाए।
- f16-KV डिकोड के लिए डिफ़ॉल्ट स्प्लिट साइज़ 2048 से घटाकर 512 कर दिया गया है ताकि सिंगल-क्वेरी वर्कलोड पर GPU संसाधनों का बेहतर उपयोग किया जा सके।
- एक क्रैश फिक्स block_n के असेट होने पर DK=512 डिकोड परिदृश्यों में आउट-ऑफ़-रेंज रीड को संबोधित करता है।
रिलीज़ में CPU, CUDA, Vulkan, ROCm और अन्य बैकएंड्स के लिए macOS, Linux, Android, Windows और openEuler के लिए बाइनरी शामिल हैं।