El proyecto llama.cpp ha lanzado la versión b9925, que incluye una actualización específica a su backend de CUDA. Esta versión añade soporte para la operación GGML_OP_SET_ROWS de f16 a f16, cubriendo un vacío en la cobertura de kernels de GPU.

  • Se proporcionan binarios para macOS Apple Silicon e Intel, con KleidiAI explícitamente deshabilitado en Apple Silicon.
  • Las compilaciones de Linux cubren CPU (x64, arm64, s390x) y varios aceleradores incluyendo Vulkan, ROCm 7.2, OpenVINO y SYCL FP32/FP16.
  • Las versiones para Windows incluyen CPU, OpenCL Adreno, Vulkan, HIP, OpenVINO, SYCL y variantes de CUDA 12/13.
  • Hay binarios disponibles para Android arm64 (CPU) e iOS XCFramework para despliegue móvil.
  • El soporte para openEuler está parcialmente deshabilitado, conservando compilaciones específicas para arquitecturas x86 y aarch64 usando ACL Graph.

Esta actualización asegura una mayor compatibilidad de hardware para los usuarios de llama.cpp al habilitar la operación set rows faltante en dispositivos CUDA y proporcionar binarios precompilados en los principales sistemas operativos y proveedores de GPU.