github llama.cpp · 3 天前 · inference

llama.cpp b10833 为 gemma4 添加 Vulkan RMS 归一化融合，实现约 4% 的速度提升

译自 English → 中文

llama.cpp 项目发布了 b10833 版本，引入了 Vulkan 后端的优化，通过融合特定的归一化操作来提升推理性能。

在 Vulkan 后端支持 RMS_NORM + MUL + ADD (+ MUL) 和 RMS_NORM + VIEW + SET_ROWS 的融合。
扩展 ROPE + VIEW + SET_ROWS 以支持 IMROPE。
作者报告在其系统上 gemma4 模型的性能提升了约 4%。

此更新为在兼容 Vulkan 硬件上运行的兼容模型提供了更快的推理速度。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

阅读原文

media MarkTechPost · 刚刚实时

DeepSeek 发布 DeepSeek-V4.1-Flash，支持 1M 上下文与 FP4 KV 缓存

DeepSeek AI 发布了 DeepSeek-V4.1-Flash，这是一款多模态混合专家模型，具备 100 万 token 的上下文窗口和 FP4 KV 缓存，将全局缓存占用降低至每 token 890 字节。该模型采用因果编码器-解码器架构以及压缩稀疏注意力 2（CSA2），在保持性能的同时显著降低了内存需求。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b10889 版本避免为索引器分配 V 缓存

llama.cpp 项目发布了构建版本 b10889，其中包括一项内存优化，以避免为未使用的索引器分配 V 缓存。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

github llama.cpp · 4 小时前 · 1 次浏览

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

github llama.cpp · 18 小时前 · 1 次浏览

llama.cpp b10883 修复 Vulkan 矩阵乘法并恢复 Ampere 优化

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。