github llama.cpp · 1 天前 · inference

llama.cpp b10693 添加 Hexagon NPU 设备发现和按需会话支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10693，引入了对 Qualcomm Hexagon NPU 的支持。此更新启用运行时发现可用的 NPU 核心，并允许按需创建推理会话。

为 Hexagon 设备添加了延迟会话分配和清理接口。
实现了可用 NPU 核心的运行时发现。
配置了初始化期间对不存在设备的早期拒绝。
提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件，支持 CPU、Vulkan、ROCm、OpenVINO、SYCL 和 CUDA 后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 4 小时前 · 3 次浏览

llama.cpp b10717 发布增强了 SYCL 内存信息检索

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

media r/LocalLLaMA · 6 小时前 · 3 次浏览

pipecat-ai 发布 phonellm-alpha-1，性能媲美 GPT 5.6 Terra

pipecat-ai 项目发布了 phonellm-alpha-1 模型，在典型的语音代理任务中实现了与 GPT 5.6 相当的性能。