github llama.cpp · 刚刚 · inference

llama.cpp b10907 修复了 deepseek2、glm4moe、cohere2moe 的 MTP 上下文 kv 缓存分配

译自 English → 中文

llama.cpp 项目发布了版本 b10907，其中包括对多令牌预测 (MTP) 上下文键值缓存分配的修复。此更新解决了影响 deepseek2、glm4moe 和 cohere2moe 架构的问题。

修复了 deepseek2、glm4moe 和 cohere2moe 模型的 MTP 上下文 kv 缓存分配。
添加了反向架构门控和全面的架构测试，用于 MTP 层过滤。
简化了 NextN 过滤器注释并删除了 test-llama-archs 的更改。

该版本提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA、OpenCL、Vulkan、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 刚刚实时

llama.cpp b10908 修复了 Metal iq mul_mv 内核中的空闲线程

llama.cpp 项目发布了版本 b10908，其中包括对 ne00 < 1024 的剩余 iq mul_mv 内核中空闲线程的修复。此更改将行分割逻辑推广到六个特定内核：iq1_s、iq1_m、iq2_xxs、iq2_xs、iq2_s 和 iq3_s。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10905 针对 AMD RDNA4 调整 Flash Attention 并修订 stream-k 逻辑

llama.cpp 项目发布了构建版本 b10905，其中包括对 gfx1201 架构上 CUDA/HIP 的 Flash Attention 进行特定调整。此更新专注于优化 AMD RDNA4 GPU 的性能。

github llama.cpp · 1 天前 · 5 次浏览

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

github llama.cpp · 1 天前 · 1 次浏览

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

github llama.cpp · 2 天前 · 2 次浏览

llama.cpp b10883 修复 Vulkan 矩阵乘法并恢复 Ampere 优化

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。