github llama.cpp · 1 小时前 · inference

llama.cpp b10213 增加了对旋转 kv 缓存量化的支持

译自 English → 中文

llama.cpp 项目发布了 b10213 版本，引入了对旋转键值缓存量化的支持。此更新适用于广泛的平台和硬件加速器。

macOS Apple Silicon (arm64) 和 Intel (x64)
iOS 通过 XCFramework
Linux Ubuntu x64 和 arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 和 arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 和 aarch64 (ACL Graph)

该版本包括主应用程序的二进制文件以及一个单独的 UI 包。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 3 小时前

llama.cpp b10212 仅在使用时加载 MTP 张量

llama.cpp 项目发布了版本 b10212，其中包含一项更改：仅在实际使用时才加载 Multi-Token Prediction (MTP) 张量。此更新确保在加载支持该功能但不需要它的其余模型时跳过 MTP 张量。

github llama.cpp · 3 小时前

llama.cpp b10210 在草稿令牌重放期间修正已接受的令牌

llama.cpp 项目发布了版本 b10210，其中包括对服务器逻辑的修正，用于处理需要草稿令牌重放时接受的令牌。

github llama.cpp · 4 小时前

llama.cpp b10208 为 XMX 加速提示处理添加 oneMKL GEMM flash attention

llama.cpp b10208 版本引入了对 oneMKL GEMM flash attention 的 SYCL 支持，从而启用 XMX 硬件加速以处理提示。这一变更通过利用 MKL 内核而非默认的 TILE 路径，显著提升了 Intel Arc GPU 上的推理速度。

github llama.cpp · 6 小时前

llama.cpp b10207 为 cpy 中缺失的类型添加 SYCL 支持

llama.cpp 项目发布了版本 b10207，其中包含一个拉取请求，旨在为 cpy 操作中此前不支持的数据类型添加 SYCL 支持。

github llama.cpp · 8 小时前

llama.cpp b10206 对 DeepSeek V4 和 MLA 模型强制执行相同的 K 和 V 缓存类型

llama.cpp 项目发布了版本 b10206，引入了对注意力机制中键值缓存处理方式的具体更改。此次更新确保 DeepSeek V4 模型的 K 和 V 缓存类型保持一致。