Le projet llama.cpp a publié la version b9974, qui inclut une correction critique pour les builds CUDA. Cette mise à jour empêche les plantages fatals qui se produisaient lorsque la bibliothèque interrogeait les informations de la mémoire GPU sur des appareils avec zéro ou peu de mémoire disponible.
- Corrige un plantage dans cudaMemGetInfo() en rendant l'erreur non fatale et en attribuant une mémoire totale/libre de zéro à l'appareil concerné.
- Empêche l'algorithme fit d'essayer de placer des couches sur des appareils sans mémoire libre, évitant ainsi des plantages critiques au démarrage ou lors de l'utilisation de '-dev none'.
- Les builds macOS Apple Silicon (arm64) sont disponibles, tandis que le support KleidiAI pour cette plateforme est désactivé.
- Binaires Linux fournis pour Ubuntu x64 et arm64 (CPU), Vulkan, ROCm 7.2, OpenVINO et SYCL FP32/FP16.
- Les builds Android arm64 (CPU) sont inclus.
- Les binaires Windows couvrent CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et HIP.
- Le support openEuler est partiellement désactivé, avec des builds spécifiques disponibles pour les architectures x86 et aarch64.
Ce changement garantit que llama.cpp reste stable sur les systèmes où les ressources mémoire GPU sont épuisées ou indisponibles, permettant au logiciel de gérer ces conditions de manière gracieuse plutôt que de se terminer de manière inattendue.