github llama.cpp · 1 小时前 · inference

llama.cpp b10790 调整 SM87 的 MMVQ 到 MMQ 交叉

译自 English → 中文

llama.cpp 项目发布了构建版本 b10790，其中包括针对 SM87 的 MMVQ 到 MMQ 交叉的特定调优。

此更新提供了跨多个平台和硬件配置的预构建二进制文件。可用构建包括 macOS Apple Silicon 和 Intel、支持 CPU、Vulkan、ROCm 10.0、OpenVINO 和 SYCL 的 Linux (Ubuntu)，以及支持 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 ROCm 10.0 的 Windows 构建。其他版本还涵盖 Android arm64、iOS XCFramework 和 openEuler x86/aarch64 架构。

该发布版还包括所有支持操作系统的标准 llama.cpp UI 包。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

media r/LocalLLaMA · 6 小时前 · 1 次浏览

IFM发布K2-Horizon-MoVA-36B-A4B，一种具有4B激活参数的稀疏MoE模型

IFM发布了K2-Horizon-MoVA-36B-A4B的最终检查点，这是一个采用Mixture-of-Values注意力机制的Mixture-of-Experts模型，存储36B参数但每个token仅运行4B。此次发布包括GGUF格式以及K2-Horizon系列中较小变体的链接。

github llama.cpp · 8 小时前 · 1 次浏览

llama.cpp 为 Metal 预填充阶段添加稀疏 Flash Attention 支持

llama.cpp 项目已为 Metal 后端引入稀疏 Flash Attention (FA) 支持，专门针对模型推理的预填充阶段。此次更新包含一个新内核，将有限掩码条目压缩为每行索引列表，并通过可选的稀疏索引收集扩展了向量 FA 内核。

github llama.cpp · 9 小时前 · 2 次浏览

llama.cpp b10782 修复多 GPU CUDA 图优化问题

llama.cpp 项目发布了构建版本 b10782，解决了多 GPU 设置中 CUDA 后端的严重问题。该更新允许每个分片使用并发流，并启用 CUDA 图优化在多个设备上正确运行。

github llama.cpp · 11 小时前 · 1 次浏览

llama.cpp b10780 增强 SYCL API 以支持点对点复制

llama.cpp 项目发布了版本 b10780，其中包括对 SYCL 后端的特定增强。此更新修改了 API，以启用 SYCL 设备的点对点复制（peer-to-peer copy）功能。

github llama.cpp · 11 小时前 · 2 次浏览

llama.cpp b10781 修复了 Vulkan FA 反量化路径的激活问题

llama.cpp 项目发布了构建版本 b10781，其中包含对 Vulkan 快速注意力（FA）反量化路径的修复。此次更新解决了一个问题：当 `ne[3] == 1` 时，着色器错误地检查了 `nb[3]`，导致该路径仅在缓存满时才激活。