github llama.cpp · 2 小时前 · inference

llama.cpp b10568 使用 ggml_rope_set_offset() 支持 DeepSeek 2

译自 English → 中文

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。

该发布版包含适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu x64、arm64、s390x）、Windows、Android 和 openEuler 的二进制文件。
支持的后端包括 CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL、CUDA 12/13 和 OpenCL Adreno。
macOS Apple Silicon（带 KleidiAI）和 Ubuntu x64（带 ROCm 7.14）在此构建中目前已被禁用。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency Local inference

阅读原文

github llama.cpp · 22 小时前 · 4 次浏览

llama.cpp b10541 为多模态项目添加了 --mmproj-device 参数

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。

github llama.cpp · 1 天前 · 1 次浏览

llama.cpp b10532 为 Flash Attention 添加 Metal KV 反量化支持

llama.cpp 项目发布了版本 b10532，在 Metal 后端引入了一个预处理阶段，在执行 Flash Attention 之前将量化的键值（KV）缓存反量化为 F16。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10517 添加 Vulkan FA 反量化优化和修复

llama.cpp 项目发布了构建版本 b10517，在 flash attention (FA) 反量化路径中引入了几项针对 Vulkan 的改进。关键更改包括：在 coopmat1 中对 q8_0 KV 进行一次反量化、在 coopmat2 上跳过 FA 反量化路径，以及将 Intel Xe1 排除在 FA 反量化路径之外。

github llama.cpp · 21 天前 · 38 次浏览

llama.cpp b10208 为 XMX 加速提示处理添加 oneMKL GEMM flash attention

llama.cpp b10208 版本引入了对 oneMKL GEMM flash attention 的 SYCL 支持，从而启用 XMX 硬件加速以处理提示。这一变更通过利用 MKL 内核而非默认的 TILE 路径，显著提升了 Intel Arc GPU 上的推理速度。

github llama.cpp · 30 天前 · 26 次浏览

llama.cpp b10089 为 CUDA GET_ROWS 添加完整的 k-quant 和 i-quant 支持

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。