El proyecto llama.cpp ha lanzado la versión b10064, que incluye un cambio en el backend de OpenCL. Esta actualización modifica el formato de cuantización q4_K transponiendo las escalas noshuffle para habilitar lecturas combinadas.
- El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL, HIP), Android e iOS.
- El soporte de OpenCL Adreno está disponible para Windows arm64.
- El soporte de KleidiAI en macOS Apple Silicon permanece deshabilitado en esta compilación.
- La actualización aborda el rendimiento optimizando los patrones de acceso a la memoria para capas de cuantización específicas.