O projeto llama.cpp lançou a compilação b10058, que introduz suporte ao formato de quantização Q2_0 em seu backend Vulkan. Esta atualização também inclui distribuições binárias para várias plataformas, incluindo macOS, Linux, Windows e Android.
- O backend Vulkan agora suporta quantização Q2_0, com melhorias de desempenho alcançadas ao dobrar as linhas por workgroup nos testes mat-vec-mul.
- As compilações do Apple Silicon no macOS com KleidiAI habilitado estão desabilitadas nesta versão.
- Novos binários estão disponíveis para Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e Android arm64.
- O framework de UI do macOS foi atualizado para a versão b10058.
Esta versão permite que os usuários aproveitem a quantização de menor precisão em hardware compatível com Vulkan, fornecendo binários atualizados nos principais sistemas operacionais.