github llama.cpp · 2 小时前 · inference

llama.cpp b9913 添加 Q2_0 量化和 CPU 后端

译自 English → 中文

llama.cpp 项目发布了版本 b9913，引入了带有新类型定义的 Q2_0 量化以及 CPU 后端支持。此更新可在多个平台上使用，包括 macOS、Linux、Windows、Android 和 openEuler。

添加了 Q2_0 量化类型定义及相应的 CPU 后端实现。
禁用了 macOS Apple Silicon 构建的 KleidiAI 支持。
提供了各种架构和后端的二进制文件，包括 CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL 和 HIP。
随核心引擎更新一同发布了 UI 二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency