github llama.cpp · 3 天前 · inference

llama.cpp b10936 改进 qwen3-coder 解析并清理语法

译自 English → 中文

llama.cpp 项目发布了构建版本 b10936，其中包括针对 qwen3-coder 中复杂类型处理的聊天组件的具体改进。此更新增强了 qwen3 解析器内的模式支持。

该版本为 macOS、Linux、Android、Windows 和 openEuler 提供了二进制文件，适用于包括 CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL 和 OpenCL 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了版本 b10984，引入了对行连续 SUM_ROWS 操作的 CUDA 支持。此更新还组织了代码以包含 GGML_OP_MEAN，通过共享内核处理行连续张量。

llama.cpp 项目发布了构建版本 b10985，修改了 RPC 后端，将基于哈希的缓存严格限制为权重张量。此更改解决了一个问题：激活数据被不必要地哈希和存储，导致磁盘使用量过大。

llama.cpp b10981 版本解决了 OpenVINO 后端状态解码路径中的关键正确性问题，特别修复了对使用每层头大小的模型（如 Gemma-4）的支持。它还引入了针对 GPU 混合专家 (MoE) 推理的优化，并通过 KV 状态重排提高了性能。

llama.cpp 项目已为 Apple Silicon 上 MiniCPM3 使用的特定配置添加了 Flash Attention (FA) 内核支持。此更改解决了因缺少注意力键长 96 和值长 64 的内核实例化而导致 `-fa auto` 标志中止的问题。

llama.cpp 项目发布了版本 b10970，其中包含对 fattn-mma 后端的更新。此更改专门针对 CDNA 架构设备实现了 fp32 累加器的使用。