Le projet llama.cpp a publié la compilation b10058, qui introduit le support du format de quantification Q2_0 dans son backend Vulkan. Cette mise à jour inclut également des distributions binaires pour diverses plateformes, notamment macOS, Linux, Windows et Android.
- Le backend Vulkan prend désormais en charge la quantification Q2_0, avec des améliorations de performance obtenues en doublant le nombre de lignes par groupe de travail dans les tests mat-vec-mul.
- Les compilations Apple Silicon pour macOS avec KleidiAI activé sont désactivées dans cette version.
- De nouveaux binaires sont disponibles pour Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et Android arm64.
- Le framework UI de macOS a été mis à jour vers la version b10058.
Cette version permet aux utilisateurs d'exploiter la quantification basse précision sur du matériel compatible Vulkan tout en fournissant des binaires mis à jour sur les principaux systèmes d'exploitation.