O projeto llama.cpp lançou a compilação b10058, que introduz suporte ao formato de quantização Q2_0 em seu backend Vulkan. Esta atualização também inclui distribuições binárias para várias plataformas, incluindo macOS, Linux, Windows e Android.

  • O backend Vulkan agora suporta quantização Q2_0, com melhorias de desempenho alcançadas ao dobrar as linhas por workgroup nos testes mat-vec-mul.
  • As compilações do Apple Silicon no macOS com KleidiAI habilitado estão desabilitadas nesta versão.
  • Novos binários estão disponíveis para Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e Android arm64.
  • O framework de UI do macOS foi atualizado para a versão b10058.

Esta versão permite que os usuários aproveitem a quantização de menor precisão em hardware compatível com Vulkan, fornecendo binários atualizados nos principais sistemas operacionais.