github llama.cpp · 1 小时前 · inference

llama.cpp b10210 在草稿令牌重放期间修正已接受的令牌

译自 English → 中文

llama.cpp 项目发布了版本 b10210，其中包括对服务器逻辑的修正，用于处理需要草稿令牌重放时接受的令牌。

在需要草稿令牌重放时修正服务器组件中的已接受令牌。
提供适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64/arm64/s390x，含 CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 的预构建二进制文件。
包含 UI 发布包。

此更新确保在所有支持的平台上的推测解码场景中准确处理令牌。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 1 小时前实时

llama.cpp b10212 仅在使用时加载 MTP 张量

llama.cpp 项目发布了版本 b10212，其中包含一项更改：仅在实际使用时才加载 Multi-Token Prediction (MTP) 张量。此更新确保在加载支持该功能但不需要它的其余模型时跳过 MTP 张量。

github llama.cpp · 2 小时前

llama.cpp b10208 为 XMX 加速提示处理添加 oneMKL GEMM flash attention

llama.cpp b10208 版本引入了对 oneMKL GEMM flash attention 的 SYCL 支持，从而启用 XMX 硬件加速以处理提示。这一变更通过利用 MKL 内核而非默认的 TILE 路径，显著提升了 Intel Arc GPU 上的推理速度。

github llama.cpp · 4 小时前

llama.cpp b10207 为 cpy 中缺失的类型添加 SYCL 支持

llama.cpp 项目发布了版本 b10207，其中包含一个拉取请求，旨在为 cpy 操作中此前不支持的数据类型添加 SYCL 支持。

github llama.cpp · 6 小时前

llama.cpp b10206 对 DeepSeek V4 和 MLA 模型强制执行相同的 K 和 V 缓存类型

llama.cpp 项目发布了版本 b10206，引入了对注意力机制中键值缓存处理方式的具体更改。此次更新确保 DeepSeek V4 模型的 K 和 V 缓存类型保持一致。

github llama.cpp · 8 小时前

llama.cpp b10202 发布，包含 SYCL RMS_NORM 融合

llama.cpp 项目发布了 b10202 版本，引入了将 RMS_NORM 和 MUL 操作融合的 SYCL 优化。