github llama.cpp · 2 天前 · inference

llama.cpp b10853 新增对 Kimi-K3 循环状态回滚的支持

译自 English → 中文

llama.cpp 项目发布了版本 b10853，通过拉取请求 #28466 引入了对 Kimi-K3 模型循环状态回滚机制的支持。

此更新提供了跨多个平台和硬件加速器的预构建二进制文件和框架。可用的构建包括 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu x64、arm64、s390x，支持 CPU、Vulkan、ROCm 10.0、OpenVINO 和 SYCL 后端）、Android（arm64）、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）以及 openEuler（x86 和 aarch64，支持 ACL Graph）。

该版本在保持对本地推理的广泛硬件支持的同时，确保与最新的 Kimi-K3 架构兼容。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10888 为 GPU 分析器添加 Vulkan 命令缓冲区调试标签

llama.cpp 项目发布了构建版本 b10888，其中包含一项新功能，可在 Vulkan 后端为 GPU 分析器添加命令缓冲区调试标签。

github llama.cpp · 4 小时前 · 1 次浏览

llama.cpp b10886 为 s390x 添加 Q1_0 向量内置支持

llama.cpp 项目发布了构建版本 b10886，引入了对 s390x 架构的 Q1_0 向量内置支持。此更新包括 `ggml_vec_dot_q1_0_q8_0` 的实现，并更新了文档以反映新功能。

github llama.cpp · 18 小时前 · 1 次浏览

llama.cpp b10883 修复 Vulkan 矩阵乘法并恢复 Ampere 优化

llama.cpp 项目发布了构建版本 b10883，其中包含对 Vulkan 后端的重大更新。主要更改涉及使用规范常量进行 A 类型矩阵-矩阵乘法运算，以改进着色器编译和性能。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10870 为 Intel coopmat1 添加了 f16 B 类型矩阵乘法管道和 warp 瓦片调整

llama.cpp 项目发布了 b10870 版本，引入了针对 Intel coopmat1 硬件的 Vulkan 支持，用于 f16 B 类型矩阵乘法管道和 warp 瓦片大小调整。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10871 为 Vulkan 添加了专用的 iq4_xs mat-vec 着色器

llama.cpp 项目发布了构建版本 b10871，为 Vulkan 中的 dmmv 路径引入了专用的 mul_mat_vec_iq4_xs 着色器。此更改替换了之前的通用回退实现，以改善 RDNA4 硬件上的性能。