llama.cpp 项目发布了构建版本 b10777,其中包括针对 Q4_K 多列矩阵-向量乘法 (MMVQ) 的 SYCL 后端的优化。此次更新侧重于通过权重解包和激活重用策略来减少冗余计算工作。
- 优化 Q4_K 权重解包并在目标列之间重用数据。
- 在两个输出行中为小 N 值(N=2..4)实现子组激活重用。
- 将两行重用模式专门限制为 N=2,以提高效率。
- 将魔法数阈值更新为 Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272,并添加针对 Q4_K MUL_MAT 覆盖范围的性能测试。
此版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的预构建二进制文件,支持包括 CPU、CUDA、ROCm、Vulkan、OpenVINO 和 SYCL 在内的各种硬件后端。