github llama.cpp · 1 小时前 · inference

llama.cpp b10605 展平 mamba2 投影以调度 GEMM

译自 English → 中文

llama.cpp 项目发布了构建版本 b10605，其中包含针对 Mamba2 架构的关键优化。该更新将 Mamba2 模型的输入和输出投影展平，以调度通用矩阵乘法 (GEMM) 操作，而不是通用矩阵向量 (GEMV) 操作。

此版本为 macOS、Linux、Windows、Android 和 openEuler 提供二进制文件，支持包括 CPU、CUDA、ROCm、Vulkan 和 OpenVINO 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了构建版本 b10603，引入了对 GLM-4.5-Air 模型的多令牌预测 (MTP) 支持。

ggml 库通过用行级 memcpy 操作替换逐元素内存复制，优化了其连接操作。此更改是 llama.cpp b10578 版本的一部分，其中包括各种平台特定的二进制文件和底层计算图的更新。

llama.cpp 项目发布了构建版本 b10576，重新添加了用于 SYCL 支持的 Q2_K 重排序 MMVQ 和 ESIMD 内核。此更改有效地撤销了之前移除这些特定内核实现的提交。

llama.cpp 项目发布了构建版本 b10577，其中包含对使用嵌入向量时的 draft-mtp 的修复。此更新解决了问题 #26352 和 #27299。

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。