github llama.cpp · 1 小时前 · inference

llama.cpp b9952 更新 DeepSeek V4 注意力机制并移除死代码

译自 English → 中文

llama.cpp 项目发布了版本 b9952，修改了对 DeepSeek V4 模型的 key-query 掩码处理。该更新确保在使用 Flash Attention 时所有 KQ 掩码都设置为 f16，同时移除了零注意力偏置。

移除了之前为 DeepSeek V4 中每个流重复统一 raw_k 缓存的死代码。
提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux、Android、Windows 和 openEuler 的二进制文件，涵盖 CPU、GPU 和专业硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency