llama.cpp 项目发布了 b10058 构建版本，在其 Vulkan 后端引入了对 Q2_0 量化格式的支持。此更新还包括适用于各种平台的二进制发行版，包括 macOS、Linux、Windows 和 Android。

  • Vulkan 后端现在支持 Q2_0 量化，通过在 mat-vec-mul 测试中将每个工作组内的行数翻倍来实现性能提升。
  • 此版本中禁用了启用 KleidiAI 的 macOS Apple Silicon 构建。
  • 为 Ubuntu（CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 Android arm64 提供了新的二进制文件。
  • macOS UI 框架已更新至 b10058 版本。

此发布版允许用户在兼容 Vulkan 的硬件上利用低位数量化，同时在主要操作系统上提供更新的二进制文件。