github llama.cpp · 2 小时前 · inference

llama.cpp b10262 在 Vulkan 后端添加 GATED_LINEAR_ATTN

译自 English → 中文

llama.cpp 项目发布了构建版本 b10262，在其 Vulkan 后端引入了对 GATED_LINEAR_ATTN 操作的支持。此更新还包括 Vulkan 操作的文档更新，并移除了未使用的 GLA 规范常量。

此版本为 macOS、Linux、Windows、Android 和 iOS 提供了适用于 CPU、CUDA、ROCm、OpenVINO、SYCL 和 Vulkan 后端的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

一位开发者开源了衰减门控O(N)因果线性注意力架构，该架构包含融合的Triton/CUDA状态累积内核，旨在绕过二次MHA瓶颈。

llama.cpp 项目发布了构建版本 b10259，引入了在加载过程中重塑张量的能力。

llama.cpp b10256 版本包含一项更改，用于并行化 SYCL 设备的非连续拼接内核。此次更新将启动几何结构从单通道工作组修改为使用 `SYCL_CONCAT_BLOCK_SIZE` 的工作组。

llama.cpp 项目发布了 b10254 版本，为 DeepSeek V4 Flash 0731 模型引入了新的聊天模板，并对现有的 DeepSeek V4 模板进行了更新。

llama.cpp b10255 版本将 oneDNN SDPA 路径扩展为支持非 FP16 键值 (KV) 缓存，包括 Q4_0–Q8_0 量化格式和 FP32。此更新允许融合脉动核在设备上将 K/V 张量反量化或转换为密集 FP16 后，以与原生 FP16 路径相同的方式运行。