llama.cpp प्रोजेक्ट ने संस्करण b9874 जारी किया है, जिसमें क्वांटाइज्ड प्रकारों को जोड़ने के लिए एक नया CUDA कार्यान्वयन पेश किया गया है। यह अपडेट लाइब्रेरी की बैकएंड क्षमताओं के निरंतर विकास का हिस्सा है।
- मुख्य कोड परिवर्तन में क्वांटाइज्ड डेटा प्रकारों को जोड़ने के लिए CUDA समर्थन जोड़ना शामिल है।
- रिलीज़ में macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) और openEuler के लिए बाइनरी शामिल हैं।
- इस रिलीज़ में एक iOS XCFramework और एक स्टैंडअलोन UI बिल्ड भी प्रदान किया गया है।
यह अपडेट उपयोगकर्ताओं को b9874 बिल्ड में उपलब्ध नवीनतम सुविधाओं और प्लेटफ़ॉर्म समर्थन तक पहुंचने की अनुमति देता है।