github llama.cpp · 1 天前 · inference

llama.cpp b10068 为 DFlash 旋转注入的 K/V 缓存

译自 English → 中文

llama.cpp 项目发布了版本 b10068，其中引入了对 DFlash 模型实现的更改。该更新修改了 src/models/dflash.cpp，以便在使用 K/V 量化时旋转注入的键/值 (K/V) 缓存。

此版本为 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 提供了二进制文件。

该更新确保了在量化条件下 DFlash 模型的缓存处理正确。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 1 天前

llama.cpp b10067 将 DeepSeek-V4 路由表排除在量化之外

llama.cpp 项目发布了 b10067 版本，其中包含对 `llama-quantize` 工具的修复，以正确处理 DeepSeek-V4 模型。该更新防止量化器尝试将 `ffn_gate_tid2eid` 张量（一个 i32 类型的 token-to-expert 索引表）转换为 float 类型。

github llama.cpp · 2 天前

llama.cpp b10066 通过 OpenCL 添加对 kernel_gemm_moe_q6_k_f32_ns 内核的支持

llama.cpp 项目发布了 b10066 版本，通过 OpenCL 引入了对 `kernel_gemm_moe_q6_k_f32_ns` 内核的支持。此更新允许在框架内加载和使用此特定的二进制内核库。

github llama.cpp · 2 天前

llama.cpp b10064 发布，包含 OpenCL 转置优化

llama.cpp 项目发布了 b10064 版本，其中包含对 OpenCL 后端的更改。此更新通过转置 noshuffle scales 来修改 q4_K 量化格式，以实现合并读取。

github llama.cpp · 2 天前

llama.cpp b10059 将 ggml-blas 默认的 hadamard mul_mat 设置为 CPU 例程

llama.cpp 项目发布了 b10059 版本，该版本更新了 ggml-blas 库，使其默认使用 CPU 例程进行 Hadamard 矩阵乘法。

github llama.cpp · 2 天前

llama.cpp b10057 修复了 SYCL Q5_K 内核并发布了二进制文件

llama.cpp 项目发布了 b10057 版本，其中包括针对 SYCL 后端的多个错误修复，以及跨多个平台的常规二进制分发。