github llama.cpp · 刚刚 · inference

llama.cpp b10906 修复了服务器中图像后的推测解码问题

译自 English → 中文

llama.cpp 项目发布了版本 b10906，其中包含对服务器组件的修复，涉及图像输入后的推测解码。该更改确保将实际位置传递给草稿生成器，而不是令牌计数，影响所有草稿生成器而不仅仅是 DFlash。

将草稿参数 `n_past` 重命名为 `pos0`，以准确反映其作为位置指示器而非令牌计数的作用。
为 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA、OpenCL、Vulkan、OpenVINO、SYCL、ROCm）和 openEuler 提供了预构建的二进制文件。

此更新修正了参数命名不一致的问题，并确保在服务器的推测解码逻辑中正确处理位置。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 16 小时前 · 2 次浏览

llama.cpp b10899 为 Qwen 添加 Vulkan 优化并支持 split_k

llama.cpp 项目发布了版本 b10899，在其 Vulkan 后端引入了特定的性能改进。此次更新专注于优化 Qwen 模型系列的矩阵运算，并提升小 M 值的整体性能。

github llama.cpp · 19 小时前 · 1 次浏览

llama.cpp b10896 修复了视觉模型使用 DFlash 解码失败的问题

llama.cpp 项目发布了构建版本 b10896，解决了一个关键问题：在使用 DFlash 处理视觉模型时，草稿内存无法分配新令牌。该故障发生的原因是图像报告了固定偏移量，导致无法正确分配令牌。

github llama.cpp · 3 天前 · 2 次浏览

llama.cpp 默认在集成 GPU 上禁用惰性张量加载

llama.cpp 项目在 b10867 版本中默认禁用了集成 GPU (iGPU) 的惰性张量加载。此更改解决了先前 "AUTO" 惰性模式设置中引入的回归问题。

github llama.cpp · 3 天前 · 4 次浏览

llama.cpp b10864 修复了混合模型的检查点驱逐问题

llama.cpp 项目发布了构建版本 b10864，其中包含对 `create_checkpoint()` 中检查点间隔驱逐逻辑的修复。此前，驱逐规则保留了最旧的检查点并删除了 `checkpoint_min_step` 内的后续检查点，导致短于该阈值的提示词丢失了恢复所需的检查点。这迫使混合模型和循环模型不必要地从前一个检查点重新预填充。

github llama.cpp · 4 天前 · 11 次浏览

llama.cpp b10844 为 Vulkan 添加 DeepSeek-V4 超连接融合操作

llama.cpp 项目发布了 b10844 版本，在 Vulkan 后端引入了对 DeepSeek-V4 超连接融合操作（DSV4_HC_COMB/PRE/POST）的支持。此次更新使 Vulkan 在这些特定优化方面与 CUDA 和 Metal 持平。