llama.cpp प्रोजेक्ट ने बिल्ड b9974 जारी की, जिसमें CUDA बिल्ड्स के लिए एक महत्वपूर्ण सुधार शामिल है। यह अपडेट उन घातक क्रैश को रोकता है जो लाइब्रेरी द्वारा शून्य या सीमित उपलब्ध मेमोरी वाले डिवाइसों पर GPU मेमोरी जानकारी क्वेरी करने के दौरान होते थे।
- प्रभावित डिवाइस के लिए कुल/मुक्त मेमोरी को शून्य निर्धारित करके और त्रुटि को घातक न बनाकर cudaMemGetInfo() में क्रैश ठीक किया गया।
- फिट एल्गोरिदम को उन डिवाइसों पर परतें रखने का प्रयास करने से रोकता है जिनके पास मुक्त मेमोरी नहीं है, जिससे स्टार्टअप के दौरान या '-dev none' उपयोग करते समय कठोर क्रैश से बचा जाता है।
- macOS Apple Silicon (arm64) बिल्ड्स उपलब्ध हैं, जबकि इस प्लेटफ़ॉर्म के लिए KleidiAI समर्थन अक्षम है।
- Ubuntu x64 और arm64 (CPU), Vulkan, ROCm 7.2, OpenVINO, और SYCL FP32/FP16 के लिए Linux बाइनरी प्रदान की गई हैं।
- Android arm64 (CPU) बिल्ड्स शामिल हैं।
- Windows बाइनरी CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, और HIP को कवर करती हैं।
- openEuler समर्थन आंशिक रूप से अक्षम है, x86 और aarch64 आर्किटेक्चर के लिए विशिष्ट बिल्ड्स उपलब्ध हैं।
यह बदलाव सुनिश्चित करता है कि llama.cpp उन सिस्टम पर स्थिर बना रहे जहाँ GPU मेमोरी संसाधन समाप्त हो चुके हैं या अनुपलब्ध हैं, जिससे सॉफ़्टवेयर ऐसे परिस्थितियों को अप्रत्याशित रूप से समाप्त करने के बजाय कृतज्ञतापूर्वक संभाल सकता है।