El proyecto llama.cpp lanzó la versión b9969, abordando un problema crítico de estabilidad en el backend de Vulkan. La actualización dirige las multiplicaciones de matrices grandes a tiles medianos en GPUs Adreno, resolviendo fallos que ocurrían con redes cuantizadas q4_0 y tamaños de prompt más largos debido a memoria compartida insuficiente.
- Corrige la ruptura de llama-cli para prompts más largos optimizando el uso de memoria compartida en matmuls Vulkan.
- Elimina código de dispositivo Adreno no utilizado y actualiza la implementación de matmul de pipeline pequeño.
- Desactiva el soporte de KleidiAI para compilaciones de macOS Apple Silicon.
- Proporciona binarios para Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, HIP, SYCL), macOS, iOS, Android y openEuler.
Este lanzamiento asegura una inferencia estable en dispositivos Adreno con ventanas de contexto más grandes y mantiene la compatibilidad en una amplia gama de backends de hardware.