github llama.cpp · 1 小时前 · inference

llama.cpp b11005 接受零化 rope probe 以减少图分割

译自 English → 中文

llama.cpp 项目发布了版本 b11005，其中包括对 Hexagon 后端的修复，使其在 supports_op 中接受零化的 rope probes。

此前，拒绝 n_dims == 0 或 freq_base == 0 的 probes 会迫使 rope_freqs 转移到 CPU，导致不必要的图分割。此更改可防止此类分割，将 gemma-4-E2B 等模型中的分割数量从五个减少到两个。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目已新增对 HrmTextForCausalLM 架构的支持，专门启用 DFM Mimir 1B 模型的推理。该实现引入了新的 GGUF 写入器和加载器，以处理模型独特的结构，该结构在相同的 token 流上交替运行两个 transformer 堆栈。

llama.cpp 项目发布了构建版本 b11001，其中包含对 `permute_transpose_impl` 函数处理 RISC-V 架构上 int16 数据的关键修复。

llama.cpp 项目发布了构建版本 b10995，修改了 Vulkan 后端对 MUL_MAT_ID 操作的处理。具体来说，该更改通过将 BN/2 设为 BNover2 的默认值并作为 BNover4 的禁用回退方案，使 BN/2 尾部无条件化，同时移除了该分支上的启用门控。

llama.cpp 项目已发布版本 b10989，引入了在 ROCm 后端中启用 AllReduce 操作的支持。此次更新是持续扩展大语言模型推理的硬件兼容性和分布式计算能力的一部分。

llama.cpp 项目发布了 b10988 版本，针对 Mixture of Experts (MoE) 模型对 OpenCL 后端进行了更改。此次更新实现了在推测解码和多令牌预测期间，根据批次大小选择 MoE 专家矩阵乘法的逻辑。