github llama.cpp · 3 天前 · inference

llama.cpp b11062 为 Qwen4 启用稀疏 FA

译自 English → 中文

llama.cpp 项目发布了版本 b11062，其中包含一个拉取请求，为 Qwen4 模型启用了稀疏 Flash Attention (FA) 支持。

此更新是更广泛的 b11062 发布的一部分，该发布提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件，支持 CPU、GPU（CUDA、ROCm、Vulkan）以及 AI 加速器后端。

发行说明中提到的特定更改为 Qwen4 添加了稀疏 FA 功能，以提高效率。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了版本 b11122，其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型，并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。

llama.cpp 项目发布了 b11111 构建版本，为 Xe-LPG Plus、Xe2 和 Xe3 架构上的 split k 路径引入了基于 Vulkan 的 flash attention 优化内核。

llama.cpp 项目通过暴露目标图中的层输入张量，为 HunyuanOCR 模型添加了针对 DFlash 推测解码的支持。此更改使草稿模型能够读取残差流，从而使图像请求能够成功运行，其草稿接受率约为 0.5，且与非推测运行相比，OCR 输出字节完全一致。

llama.cpp 项目发布了版本 b11101，其中包含一项构建系统修复，允许对 llama 库重复调用 find_package。

Hugging Face 的 Transformers 库现在支持加载 GGUF 量化模型，利用底层 ggml 内核使性能接近 llama.cpp。此集成允许开发者在支持的硬件上直接在标准的 PyTorch API 中运行量化检查点。