llama.cpp प्रोजेक्ट ने संस्करण b10950 जारी किया, जिसने अपने ggml-cuda बैकएंड में एक महत्वपूर्ण अपडेट पेश किया। यह रिलीज FP32 सटीकता पर फॉलबैक करके उस हार्डवेयर के साथ संगतता सुनिश्चित करती है जिसमें नेटिव BFloat16 एक्सेलरेशन नहीं है।
- CUDA बैकएंड अब Nvidia (>= AMPERE) और AMD (>= RDNA3 या = CDNA) के लिए BF16 हार्डवेयर एक्सेलरेशन वाले उपकरणों पर F32 पर फॉलबैक करता है।
- अन्य आर्किटेक्चर पर लागू तर्क को NVIDIA GPU पर भी विस्तारित किया गया था।
- CPU, CUDA, Vulkan, ROCm, OpenVINO और SYCL बैकएंड के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान की गई हैं।
यह बदलाव पुराने या विशिष्ट GPU आर्किटेक्चर वाले उपयोगकर्ताओं को हार्डवेयर संगतता त्रुटियों के बिना मॉडल चलाने की अनुमति देता है।