llama.cpp 项目发布了版本 b9994，通过 pull request #25419 引入了 Q2_0 量化支持。此更新为 macOS、Linux、Windows、Android 和 openEuler 在各种硬件后端提供了预构建的二进制文件。

  • 向 metal 后端添加了 Q2_0 支持。
  • 禁用了 macOS/iOS Apple Silicon 构建的 KleidiAI 支持。
  • 提供了 CPU、Vulkan、CUDA (12.4 和 13.3)、ROCm、OpenVINO、SYCL、HIP 和 OpenCL Adreno 的二进制文件。
  • 在发布中包含了 iOS XCFramework 和 UI 包。