llama.cpp 项目已发布 b10926 版本,其中包含一项修复,通过优雅失败来处理不受支持的 tq1_0 量化。此更新解决了问题 #28681,以在遇到这种特定量化格式时提高稳定性。
该版本提供了适用于 macOS(Apple Silicon 和 Intel)、Linux(Ubuntu,支持 CPU、Vulkan、ROCm 10.0、OpenVINO 和 SYCL 后端)、Android(arm64)、Windows(CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 ROCm 10.0)以及 openEuler 架构的二进制文件。
此更新确保用户在模型使用 tq1_0 量化方案时,可以继续使用 llama.cpp 而不会崩溃。