github llama.cpp · 2 天前 · inference

llama.cpp b11232 在 x86 上启用分块 flash attention

译自 English → 中文

llama.cpp 项目发布了构建版本 b11232，其中包括对 ggml-cpu 后端的更新。此次发布重点在于为 x86 架构上的非向量倍数头维度启用分块 flash attention。

在 x86 上为非向量倍数头维度启用了分块 flash attention。
在 simd_gemm_ukernel_tail 中添加了针对掩码加载和存储的 AVX2 支持。
修复了填充 KV 块的 FA softcap 处理。

此更新为 CPU、GPU 和 NPU 后端提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 11 小时前 · 2 次浏览

llama.cpp 添加对 GLM-5.3-Flash 的支持，包含 k-pool 和 MTP 修复

llama.cpp 项目已添加对 GLM-5.3-Flash (GLM5-Next) 模型架构的初步支持，包括迁移到混合索引内存以及早期的多令牌预测 (MTP) 功能。

github llama.cpp · 21 小时前 · 2 次浏览

llama.cpp b11266 在 Intel 上为 Vulkan 每次加载两个 F32 A 矩阵

llama.cpp 项目发布了构建版本 b11266，其中包含一项 Vulkan 优化：当数据满足 2 字节对齐时，每次加载两个元素的 F32 A 矩阵。此更改解决了 Intel 硬件上逐个加载浮点数效率低下的性能问题，并修正了原始补丁中缺失的 `a_offset` 对齐验证。

github llama.cpp · 22 小时前 · 1 次浏览

llama.cpp b11265 修复 Vulkan MOE matmul 图块选择

llama.cpp b11265 版本包含对 Vulkan 后端处理混合专家（MoE）模型的修复。该更新修正了 `mat_mul_id` 选择矩阵乘法图块的方式，解决了在分发期间工作线程空闲的性能问题。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp b11238 添加 ggml_pad_ext 以支持左侧填充并跳过 DFlash2 采样

llama.cpp 项目发布了构建版本 b11238，通过新增的 `ggml_pad_ext` 函数引入了统一的左侧填充实现。此更改整合了 Parakeet、LFM2-Audio、Granite Speech 和 Gemma 4 等音频编码器之前使用的方法，确保 Gemma 4 的嵌入向量位级一致，同时简化了后端支持。

github llama.cpp · 2 天前 · 3 次浏览

llama.cpp b11228 在 Metal GGML_OP_PAD 中添加了左侧和循环填充支持

llama.cpp b11228 版本在 Metal 后端的 GGML_OP_PAD 操作中引入了对左侧和循环填充的支持，使其与 CPU、CUDA 和 Vulkan 实现保持一致。此更改修复了置换源上的右侧填充问题，并确保在不同硬件后端之间行为一致。