Proyek llama.cpp merilis build b9974, yang mencakup perbaikan kritis untuk build CUDA. Pembaruan ini mencegah crash fatal yang terjadi ketika pustaka menanyakan informasi memori GPU pada perangkat dengan nol atau terbatasnya memori yang tersedia.
- Memperbaiki crash di cudaMemGetInfo() dengan membuat error tidak fatal dan menetapkan total/memori kosong sebesar nol ke perangkat yang terpengaruh.
- Mencegah algoritma fit mencoba menempatkan layer pada perangkat tanpa memori kosong, menghindari crash keras saat startup atau saat menggunakan '-dev none'.
- Build macOS Apple Silicon (arm64) tersedia, sementara dukungan KleidiAI untuk platform ini dinonaktifkan.
- Binari Linux disediakan untuk Ubuntu x64 dan arm64 (CPU), Vulkan, ROCm 7.2, OpenVINO, dan SYCL FP32/FP16.
- Build Android arm64 (CPU) disertakan.
- Binari Windows mencakup CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan HIP.
- Dukungan openEuler dinonaktifkan sebagian, dengan build spesifik untuk arsitektur x86 dan aarch64 tersedia.
Perubahan ini memastikan bahwa llama.cpp tetap stabil pada sistem di mana sumber daya memori GPU habis atau tidak tersedia, memungkinkan perangkat lunak menangani kondisi tersebut dengan lancar daripada terminasi secara tak terduga.