llama.cpp प्रोजेक्ट ने संस्करण b9860 जारी किया है, जिसमें `llama_ftype_name` नामक एक नई सार्वजनिक C API फ़ंक्शन पेश की गई है जो मॉडल फ़ाइल प्रकार (क्वांटीज़ेशन) नाम को प्रदर्शित करती है।
- `llama_ftype_name` फ़ंक्शन "Q8_0" या "Q4_K - Medium" जैसे स्ट्रिंग्स लौटाता है, पॉइंटर मॉडल के जीवनकाल के लिए मान्य होता है और यदि अमान्य हो तो nullptr।
- लागूकरण को "(guessed)" लेबल को जोड़ने के बजाय प्रीपेंड करके अनुकूलित किया गया, एक गैर-थ्रेड-सुरक्षित स्थिर स्ट्रिंग को हटाकर फ़ंक्शन को अलोकेशन-मुक्त बनाया गया।
- बाइनरी macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) और openEuler के लिए उपलब्ध हैं।
यह अपडेट डेवलपर्स को लोडेड मॉडल्स के क्वांटीज़ेशन फ़ॉर्मेट को प्रोग्रामैटिक रूप से पहचानने की अनुमति देता है, बाहरी मेटाडेटा या अनुमान पर निर्भर किए बिना।