llama.cpp 项目发布了构建版本 b11284,其中包含针对 OpenVINO 后端的修复,以正确处理量化权重视图上的 GET_ROWS 操作。
- 该更新在收集权重常量时解决了 view_src 问题,防止对量化权重的视图变成动态类型的参数。
- 视图的行偏移现在被折叠到 gather 索引中,而不是切片反量子化子图。
- 此更改解除了对具有非零偏移量的量化 src0 视图的拒绝,使其能够与 OpenVINO 配合工作。
该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了二进制文件,支持 CPU、GPU(CUDA、Vulkan、ROCm、SYCL)和 NPU 后端。