llama.cpp 项目发布了 b10057 版本,其中包括针对 SYCL 后端的多个错误修复,以及跨多个平台的常规二进制分发。

  • 修复了 SYCL 中当 K_QUANTS_PER_ITERATION 为 1 时的行计算错误。
  • 更新了未重排序的 Q5_K 内核以使用 K_QUANTS_PER_ITERATION。
  • 为已重排序的 q5_k 内核添加了缺失的后半部分处理。
  • 解决了 SYCL 代码中潜在的差一错误和缺失的行 > nrows 检查。

此版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的更新二进制文件,支持包括 CPU、CUDA、Vulkan、ROCm、OpenVINO 和 SYCL 在内的各种硬件后端。