github llama.cpp · 7 小时前 · inference

llama.cpp b10714 为 Strix Halo 调整 Vulkan mat-vec 行数

译自 English → 中文

llama.cpp 项目发布了构建版本 b10714，其中包括针对 AMD Strix Halo 硬件的 Vulkan 后端的特定优化。该更新调整了矩阵-向量乘法行数，以改进批量推理期间的性能。

Vulkan：在具有超过四列的 RDNA3 架构上为 mat-vec 操作设置静态 4 行，因为此配置在基准测试中比默认值更快。
Vulkan：对 Strix Halo 机器上的 mul_mat_vec_id 应用静态 4 行设置，与默认值相比，在各种类型和批次大小下证明速度更快。

这些更改为在基于 RDNA3 的 GPU（如 Strix Halo）上运行 llama.cpp 的用户提供了可感知的性能提升。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

github llama.cpp · 13 小时前 · 3 次浏览

llama.cpp b10706 添加 SWIGLU_CLAMP 和 Vulkan 着色器支持

llama.cpp 项目发布了构建版本 b10706，为 ggml 后端引入了新功能。此更新包括添加 SWIGLU_CLAMP 以及新的 Vulkan 着色器实现。

github llama.cpp · 13 小时前 · 9 次浏览

llama.cpp b10707 优化 KV 缓存单元扫描以实现更快生成

llama.cpp 项目发布了版本 b10707，其中包括对键值 (KV) 缓存处理的一项性能优化。该更新修改了 `for_each_token_in` 函数，使其在已遍历特定单元内的所有序列后停止扫描，而不是迭代所有可能的最大序列数。