github llama.cpp · 刚刚 · inference

llama.cpp b10792 修复了空对象模式的 GBNF 语法生成

译自 English → 中文

llama.cpp 项目发布了构建版本 b10792，其中包括对 GBNF 语法生成的修复，专门解决了空对象模式的问题。

此版本为 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x）、Android、Windows 和 openEuler 提供了二进制文件和框架，支持包括 CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCL 和 OpenCL 在内的各种硬件后端。

该更新确保了 GBNF 中空对象模式的语法生成正确。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

github llama.cpp · 刚刚实时

llama.cpp b10791 添加 OpenCL 量化 lm_head 和解码 GEMV 优化

llama.cpp 项目发布了 b10791 版本，引入了针对量化语言模型头和解码 GEMV 操作的重大 OpenCL 优化。此更新还包括与推测性解码和多令牌预测相关的中等批次 GEMM 改进。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b10790 调整 SM87 的 MMVQ 到 MMQ 交叉

llama.cpp 项目发布了构建版本 b10790，其中包括针对 SM87 的 MMVQ 到 MMQ 交叉的特定调优。

media r/LocalLLaMA · 7 小时前 · 1 次浏览

IFM发布K2-Horizon-MoVA-36B-A4B，一种具有4B激活参数的稀疏MoE模型

IFM发布了K2-Horizon-MoVA-36B-A4B的最终检查点，这是一个采用Mixture-of-Values注意力机制的Mixture-of-Experts模型，存储36B参数但每个token仅运行4B。此次发布包括GGUF格式以及K2-Horizon系列中较小变体的链接。

github llama.cpp · 9 小时前 · 2 次浏览

llama.cpp 为 Metal 预填充阶段添加稀疏 Flash Attention 支持

llama.cpp 项目已为 Metal 后端引入稀疏 Flash Attention (FA) 支持，专门针对模型推理的预填充阶段。此次更新包含一个新内核，将有限掩码条目压缩为每行索引列表，并通过可选的稀疏索引收集扩展了向量 FA 内核。

github llama.cpp · 10 小时前 · 2 次浏览

llama.cpp b10782 修复多 GPU CUDA 图优化问题

llama.cpp 项目发布了构建版本 b10782，解决了多 GPU 设置中 CUDA 后端的严重问题。该更新允许每个分片使用并发流，并启用 CUDA 图优化在多个设备上正确运行。