El proyecto llama.cpp ha lanzado la versión b9852, introduciendo soporte inicial de OpenCL para el formato de cuantización q1_0. Esta actualización incluye capacidades generales de q1_0 e implementaciones específicas de GEMM/GEMV para Adreno en dispositivos con OpenCL.
- Soporte inicial de OpenCL para cuantización q1_0
- Se han añadido kernels GEMM/GEMV de Adreno para q1_0
- Binarios proporcionados para macOS Apple Silicon (arm64)
- KleidiAI en macOS Apple Silicon está deshabilitado en esta versión
- Compilaciones disponibles para Ubuntu con CPU, Vulkan, ROCm 7.2, OpenVINO y SYCL
- Las compilaciones de Windows incluyen CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP y Adreno con OpenCL
- Se han lanzado binarios para Android arm64 (CPU)
- Soporte para openEuler en arquitecturas x86 y aarch64 con ACL Graph habilitado
Esta versión amplía la compatibilidad de hardware al permitir una inferencia eficiente de q1_0 en dispositivos OpenCL y proporciona binarios actualizados en múltiples sistemas operativos y aceleradores.