github llama.cpp · 17 小时前 · inference

llama.cpp b11309 使用安全散列模式优化 Hexagon ALLREDUCE

译自 English → 中文

llama.cpp 项目发布了版本 b11309，其中包含针对 Hexagon 后端的关键优化。此更新为 ALLREDUCE 操作添加了对安全 scatter 模式的支持，旨在提高 Qualcomm Snapdragon 设备上的性能和稳定性。

通过添加对安全 scatter 模式的支持来优化 Hexagon ALLREDUCE。
重写 hex-allreduce 实现以消除寄存器溢出。
减少 hex-allreduce 代码中的冗余注释。
为 macOS（Apple Silicon 和 Intel）、Linux、Windows、Android 和 openEuler 提供 CPU、GPU 和 NPU 后端的二进制文件。

此版本在 Hexagon NPU 的移动硬件上实现了更高效的分布式推理，同时保持了与主要桌面和移动操作系统的广泛兼容性。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 1 天前 · 7 次浏览

llama.cpp 添加对 GLM-5.3-Flash 的支持，包含 k-pool 和 MTP 修复

llama.cpp 项目已添加对 GLM-5.3-Flash (GLM5-Next) 模型架构的初步支持，包括迁移到混合索引内存以及早期的多令牌预测 (MTP) 功能。

github llama.cpp · 2 天前 · 4 次浏览

llama.cpp b11266 在 Intel 上为 Vulkan 每次加载两个 F32 A 矩阵

llama.cpp 项目发布了构建版本 b11266，其中包含一项 Vulkan 优化：当数据满足 2 字节对齐时，每次加载两个元素的 F32 A 矩阵。此更改解决了 Intel 硬件上逐个加载浮点数效率低下的性能问题，并修正了原始补丁中缺失的 `a_offset` 对齐验证。

github llama.cpp · 2 天前 · 1 次浏览

llama.cpp b11265 修复 Vulkan MOE matmul 图块选择

llama.cpp b11265 版本包含对 Vulkan 后端处理混合专家（MoE）模型的修复。该更新修正了 `mat_mul_id` 选择矩阵乘法图块的方式，解决了在分发期间工作线程空闲的性能问题。

github llama.cpp · 3 天前 · 4 次浏览

llama.cpp b11238 添加 ggml_pad_ext 以支持左侧填充并跳过 DFlash2 采样

llama.cpp 项目发布了构建版本 b11238，通过新增的 `ggml_pad_ext` 函数引入了统一的左侧填充实现。此更改整合了 Parakeet、LFM2-Audio、Granite Speech 和 Gemma 4 等音频编码器之前使用的方法，确保 Gemma 4 的嵌入向量位级一致，同时简化了后端支持。

github llama.cpp · 3 天前 · 5 次浏览

llama.cpp b11232 在 x86 上启用分块 flash attention

llama.cpp 项目发布了构建版本 b11232，其中包括对 ggml-cpu 后端的更新。此次发布重点在于为 x86 架构上的非向量倍数头维度启用分块 flash attention。