github llama.cpp · 13 小时前 · inference

llama.cpp b10706 添加 SWIGLU_CLAMP 和 Vulkan 着色器支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10706，为 ggml 后端引入了新功能。此更新包括添加 SWIGLU_CLAMP 以及新的 Vulkan 着色器实现。

ggml: 添加 SWIGLU_CLAMP
添加 vulkan 着色器

该版本为 macOS、Linux、Windows、Android 和 openEuler 提供了预构建的二进制文件，支持包括 CPU、CUDA、ROCm、OpenVINO、SYCL 和 OpenCL 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

github llama.cpp · 7 小时前 · 1 次浏览

llama.cpp b10714 为 Strix Halo 调整 Vulkan mat-vec 行数

llama.cpp 项目发布了构建版本 b10714，其中包括针对 AMD Strix Halo 硬件的 Vulkan 后端的特定优化。该更新调整了矩阵-向量乘法行数，以改进批量推理期间的性能。

github llama.cpp · 13 小时前 · 9 次浏览

llama.cpp b10707 优化 KV 缓存单元扫描以实现更快生成

llama.cpp 项目发布了版本 b10707，其中包括对键值 (KV) 缓存处理的一项性能优化。该更新修改了 `for_each_token_in` 函数，使其在已遍历特定单元内的所有序列后停止扫描，而不是迭代所有可能的最大序列数。