github llama.cpp · 1 天前 · inference

llama.cpp b10690 修复了上下文切换期间 K cache 崩溃问题

译自 English → 中文

llama.cpp 项目发布了版本 b10690，其中包含针对未量化键值缓存的关键修复。该更新通过确保仅在分配了缓冲区时才将 Hadamard 矩阵复制到 k_rot 张量，防止了在上下文切换期间发生的崩溃。

通过条件性复制 Hadamard 矩阵，修复了上下文切换期间未量化 K cache 的崩溃问题
提供适用于 macOS (Apple Silicon 和 Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Windows (CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android 和 openEuler 的二进制文件
包括界面更新和发布证明

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 4 小时前 · 3 次浏览

llama.cpp b10717 发布增强了 SYCL 内存信息检索

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

github llama.cpp · 10 小时前 · 3 次浏览

llama.cpp b10712 为 Qwen 3.8 Flash Next 添加 Vulkan top-k radix select

llama.cpp 项目发布了构建版本 b10712，引入了一个新的用于 Vulkan 的 top-k radix sort 着色器，旨在支持大于或等于 1024 的 k 值。此更新专门针对 Qwen 3.8 Flash Next 模型，并包含相应的测试以及 top-k qsa 融合。

github llama.cpp · 17 小时前 · 6 次浏览

llama.cpp b10705 改进了 TENSOR_READ_LAZY 处理

llama.cpp 项目发布了版本 b10705，其中包括对 TENSOR_READ_LAZY 处理机制的改进。当启用延迟设置时，此更新会强制在 CPU 上加载延迟张量。

github llama.cpp · 18 小时前 · 4 次浏览

llama.cpp b10702 优化了 AMD gfx1201 的 Q2_0 点积

llama.cpp 项目发布了版本 b10702，其中包含针对 AMD gfx1201 架构上 Q2_0 量化点积路径的特定优化。此更新扩展了 HIP 实现以使用原生的 amdgcn 置换指令，从而改善此特定硬件配置的性能。