llama.cpp 项目发布了版本 b11122,其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型,并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。
- 扩展 MMVQ GLU 融合以处理 SYCL 后端中的混合量化类型。
- 为 SYCL 添加 rms_norm+scale 和 ssm_conv+silu 融合。
- 修复间距问题并将宏转换为模板函数。
- 提供适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件,支持 CPU、GPU 和 NPU 后端,包括 CUDA、Vulkan、ROCm 和 OpenVINO。
此更新增强了 llama.cpp 生态系统中基于 SYCL 的硬件加速的性能和兼容性。