llama.cpp 项目发布了 b10064 版本,其中包含对 OpenCL 后端的更改。此更新通过转置 noshuffle scales 来修改 q4_K 量化格式,以实现合并读取。

  • 该发布版为 macOS(Apple Silicon 和 Intel)、Linux(Ubuntu x64、arm64、s390x)、Windows(CPU、CUDA 12/13、Vulkan、ROCm、SYCL、HIP)、Android 和 iOS 提供二进制文件。
  • Windows arm64 支持 OpenCL Adreno。
  • macOS Apple Silicon 上的 KleidiAI 支持在此构建中仍处于禁用状态。
  • 该更新通过优化特定量化层的内存访问模式来解决性能问题。