llama.cpp परियोजना ने बिल्ड b10982 जारी किया है, जिसमें Vulkan बैकएंड के माध्यम से स्पार्स फ्लैश एटेंशन के लिए समर्थन शामिल है। यह अपडेट विशेष रूप से DSV4 और GLM मॉडल को लक्षित करता है, जो उन्हें संगत GPU हार्डवेयर पर स्पार्स एटेंशन तंत्र का लाभ उठाने की अनुमति देता है।
- Vulkan कार्यान्वयन में DSV4/GLM के लिए स्पार्स फ्लैश एटेंशन समर्थन जोड़ा गया।
- ट्यूंड कार्यान्वयन तर्क और परीक्षण शामिल किए गए।
- नॉनडिटरमिनिस्टिक atomicAdd व्यवहार को ठीक किया गया।
- decode वेक्टर के लिए cm2 डिकोड वेक्टर समर्थन और f16vec4 बाइंडिंग जोड़ा गया।
- तर्क को सरल बनाया गया और चर नामों की सुसंगतता में सुधार किया गया।
यह रिलीज CPU, CUDA, ROCm, OpenVINO, SYCL, और Vulkan बैकएंड के लिए macOS, Linux, Windows, Android, और openEuler के लिए प्रीकंपाइंड बाइनरी प्रदान करती है।