llama.cpp 项目发布了 b10203 版本，在基于 SYCL 的矩阵乘法操作中引入了对 q2_0 量化格式的支持。此更新扩展了该库在特定硬件加速场景中的兼容性。

  • 通过 PR #26231 在 mul_mat 中添加了对 q2_0 的支持。
  • 扩展了 SYCL 后端中其他 q2_0 案例的覆盖范围。
  • 提供了适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP) 和 openEuler 的二进制文件。

该版本使用户能够在与 SYCL 兼容的设备上使用 q2_0 量化，扩大了支持的高效模型推理的硬件配置范围。