Le projet llama.cpp a publié la version b9969, corrigeant un problème critique de stabilité dans le backend Vulkan. La mise à jour dirige les multiplications matricielles volumineuses vers des tuiles moyennes sur les GPU Adreno, résolvant les plantages survenus avec les réseaux quantifiés q4_0 et les tailles d'invite plus longues en raison d'une mémoire partagée insuffisante.
- Corrige la rupture de llama-cli pour les invites plus longues en optimisant l'utilisation de la mémoire partagée dans les multiplications matricielles Vulkan.
- Supprime le code de périphérique Adreno inutilisé et met à jour l'implémentation des multiplications matricielles du petit pipeline.
- Désactive le support KleidiAI pour les builds macOS Apple Silicon.
- Fournit des binaires pour Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, HIP, SYCL), macOS, iOS, Android et openEuler.
Cette version garantit une inférence stable sur les appareils Adreno avec des fenêtres de contexte plus grandes et maintient la compatibilité sur une large gamme de backends matériels.