github llama.cpp · 20 小时前 · inference

llama.cpp b10701 修复 DFlash2 NVFP4 推测解码

译自 English → 中文

llama.cpp 项目发布了构建版本 b10701，其中包括对 DFlash2 NVFP4 草稿模型的修复。此次更新解决了这些模型几乎不产生被接受的推测标记的问题。

在 pull request #28000 中将缺失的 NVFP4 缩放值传递给注意力操作。
确保 Q、K、V 和输出投影的缩放值正确传递给相应的图操作。

此更改通过纠正推测解码所需的缩放传播，恢复了 DFlash2 NVFP4 模型的正确功能。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 4 小时前 · 3 次浏览

llama.cpp b10717 发布增强了 SYCL 内存信息检索

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

media r/LocalLLaMA · 6 小时前 · 3 次浏览

pipecat-ai 发布 phonellm-alpha-1，性能媲美 GPT 5.6 Terra

pipecat-ai 项目发布了 phonellm-alpha-1 模型，在典型的语音代理任务中实现了与 GPT 5.6 相当的性能。