llama.cpp प्रोजेक्ट ने बिल्ड b10781 जारी किया है, जिसमें Vulkan फास्ट एटेंशन (FA) डीक्वांटाइज़ेशन पथ के लिए एक सुधार शामिल है। इस अपडेट में उस समस्या को हल किया गया है जहां शैडर ने `ne[3] == 1` होने पर भी `nb[3]` की जांच गलत तरीके से की थी, जिससे यह पथ केवल तभी सक्रिय होता था जब कैश पूरी तरह भरा हो।
- `ne[3] == 1` होने पर `nb[3]` की जांच को छोड़ दिया गया है क्योंकि शैडर एकल स्ट्रीम के लिए इसे कभी नहीं पढ़ता।
- तर्क त्रुटि को हल किया गया जहां कैश व्यू में पूर्ण-बफर स्टाइड था, जिससे पुरानी जांच `n_kv == kv_size` तक सीमित हो गई।
- macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) और openEuler के लिए बाइनरी प्रदान किए गए हैं।
यह सुधार सुनिश्चित करता है कि इनफरेंस के दौरान Vulkan FA डीक्वांटाइज़ेशन पथ सही तरीके से सक्रिय हो, न कि केवल पूर्ण कैश अवस्थाओं तक सीमित रहे।