llama.cpp परियोजना ने बिल्ड b10871 जारी किया, जिसने Vulkan में dmmv पथ के लिए एक समर्पित mul_mat_vec_iq4_xs शेडर पेश किया। यह बदलाव RDNA4 हार्डवेयर पर प्रदर्शन को बेहतर बनाने के लिए पिछले सामान्य फॉलबैक कार्यान्वयन को प्रतिस्थापित करता है।
- नया शेडर उपयोग किए गए मॉडल के आधार पर लगभग 6-17% तेज़ टोकन जनरेशन प्रदान करता है।
- n_it <= 8 के लिए ब्लॉक लूप को पूरी तरह से अनरोल करने का प्रयास करने वाले एक प्रायोगिक ब्रांच को हटा दिया गया था क्योंकि यह कोड में रखे गए सरल लूप के कार्यात्मक रूप से समतुल्य था।
- बाइनरी macOS, Linux, Windows, Android और openEuler के लिए CPU, CUDA, ROCm, OpenVINO, SYCL और Vulkan बैकएंड्स के लिए उपलब्ध हैं।