llama.cpp 项目发布了版本 b9901,其中包括对 SYCL 后端的特定更新,以增强在 Intel 硬件上的性能。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件,支持 CPU、CUDA、ROCm、Vulkan 和其他后端。

  • 将 DMMV 路径上的 K_QUANTS_PER_ITERATION 设置为 1,以提高 GPU 利用率。
  • 修复 ggml_sycl_supports_reorder_dmmv gate 以启用重排序功能。
  • 向 ggml_backend_sycl_buffer_init_tensor 添加缺失的类型,以确保正确分配。
  • 在 SYCL 操作中用 WARP_SIZE 替换 QK_WARP_SIZE(用于 QK_5)。

这些更改使 Intel B70 GPU 上的每秒令牌数 (tg t/s) 显著提升。