llama.cpp प्रोजेक्ट ने संस्करण b9890 जारी किया, जिसमें बैकएंड का महत्वपूर्ण रीफैक्टरिंग और बग फिक्स शामिल हैं। अपडेट में CUDA के लिए -sm को हटा दिया गया है और स्थिरता बढ़ाने के लिए cuBLAS इंटीग्रेशन को रीफैक्टर किया गया है।
- CDNA + BF16 लॉजिक त्रुटियों को ठीक किया
- ऑपरेशनों में खराब रिटर्न मानों को सुधारा
- src0 स्त्राइड्स और सतत मेमोरी आवश्यकताओं के साथ समस्याओं को हल किया
- GGML_CUDA_FORCE_CUBLAS कॉन्फ़िगरेशन को ठीक किया
- BF16 फॉर्मेट में कास्ट को सुधारा
इस रिलीज में CPU, GPU और विभिन्न एक्सेलेरेटर बैकएंड्स के लिए macOS, Linux, Windows, Android और openEuler के लिए अपडेटेड बाइनरी प्रदान किए गए हैं।