llama.cpp परियोजना ने b10058 बिल्ड जारी किया, जिसने इसके Vulkan बैकएंड के भीतर Q2_0 क्वांटीज़ेशन फॉर्मेट के लिए समर्थन पेश किया। इस अपडेट में macOS, Linux, Windows और Android सहित विभिन्न प्लेटफ़ॉर्म के लिए बाइनरी वितरण भी शामिल हैं।
- Vulkan बैकएंड अब Q2_0 क्वांटीज़ेशन का समर्थन करता है, जिसमें mat-vec-mul परीक्षणों में प्रति वर्कग्रुप पंक्तियों को दोगुना करके प्रदर्शन में सुधार किया गया है।
- इस रिलीज़ में KleidiAI सक्षम macOS Apple Silicon बिल्ड अक्षम हैं।
- Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) और Android arm64 के लिए नए बाइनरी उपलब्ध हैं।
- macOS UI फ्रेमवर्क को संस्करण b10058 तक अपडेट किया गया है।
यह रिलीज़ उपयोगकर्ताओं को Vulkan-संगत हार्डवेयर पर कम-बिट क्वांटीज़ेशन का लाभ उठाने की अनुमति देती है, जबकि प्रमुख ऑपरेटिंग सिस्टम पर अपडेट किए गए बाइनरी भी प्रदान करती है।