github llama.cpp · 1 天前 · inference

llama.cpp b10696 为 M3 Pro 添加 fa-vec 调优

译自 English → 中文

llama.cpp 项目发布了构建版本 b10696，其中包含一个拉取请求，专门为 Apple M3 Pro 芯片添加了快速向量 (fa-vec) 调优。

此更新解决了问题 #27668，以改善特定硬件配置上的性能。该版本提供了适用于 macOS、iOS、Linux、Windows、Android 和 openEuler 的二进制文件，支持包括 CPU、CUDA、ROCm、Vulkan、OpenVINO 和 SYCL 在内的各种后端。

fa-vec 调优旨在优化在配备 M3 Pro 处理器的设备上运行 llama.cpp 的用户推理速度或效率。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 2 小时前

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 4 小时前 · 3 次浏览

llama.cpp b10717 发布增强了 SYCL 内存信息检索

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

github llama.cpp · 5 小时前 · 1 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

media r/LocalLLaMA · 6 小时前 · 3 次浏览

pipecat-ai 发布 phonellm-alpha-1，性能媲美 GPT 5.6 Terra

pipecat-ai 项目发布了 phonellm-alpha-1 模型，在典型的语音代理任务中实现了与 GPT 5.6 相当的性能。