El proyecto llama.cpp lanzó la compilación b10058, que introduce soporte para el formato de cuantización Q2_0 dentro de su backend de Vulkan. Esta actualización también incluye distribuciones binarias para varias plataformas, incluyendo macOS, Linux, Windows y Android.

  • El backend de Vulkan ahora soporta cuantización Q2_0, con mejoras de rendimiento logradas al duplicar las filas por grupo de trabajo en pruebas mat-vec-mul.
  • Las compilaciones de Apple Silicon para macOS con KleidiAI habilitado están deshabilitadas en esta versión.
  • Nuevos binarios están disponibles para Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y Android arm64.
  • El marco de interfaz de usuario de macOS se ha actualizado a la versión b10058.

Esta versión permite a los usuarios aprovechar la cuantización de menor precisión en hardware compatible con Vulkan mientras proporciona binarios actualizados en los principales sistemas operativos.