github llama.cpp · 1 小时前 · inference

ggml-org 发布 llama.cpp b10774，修复微调 KV 缓存问题

译自 English → 中文

ggml-org 项目发布了 llama.cpp 的 b10774 版本，其中包含对微调模块中缺失 KV 缓存问题的修复。

训练组件现在在微调操作期间正确处理 KV 缓存的使用。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（Ubuntu 配合 CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、ROCm）和 openEuler 的二进制文件。
发布资产中还包含了 iOS XCFramework 和独立 UI 包。

此更新通过解决之前损坏的键值缓存处理问题，确保微调工作流程正常运行。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

相关文章

github llama.cpp · 9 小时前 · 5 次浏览

llama.cpp b10763 默认启用 preserve_reasoning

llama.cpp 项目发布了构建版本 b10763，该版本更改了 `preserve_reasoning` 聊天模板关键字参数的默认行为。服务器现在会记录此 kwarg 的有效状态，并在支持的模板中默认启用时发出警告。

github llama.cpp · 16 小时前 · 1 次浏览

llama.cpp b10760 修复 Qwen3-tts-0.6b 推理稳定性

llama.cpp 项目发布了构建版本 b10760，其中包括针对 Qwen3-tts-0.6B 模型的具体修复，以防止推理期间的数值不稳定。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10751 为 CUDA 融合 MoE 加权专家归约

llama.cpp 项目发布了构建版本 b10751，其中引入了针对 CUDA 上 MoE（混合专家）加权专家归约的融合内核。该优化用单个加权归约内核替换了之前运行两个物理内核的基线方案，以减少中间全局内存流量。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10750 优化 KV 缓存 n-gram 查找，吞吐量提升 4.9%

llama.cpp 项目发布了构建版本 b10750，重构了键值单元管理以改进序列位置索引和 n-gram 历史查找。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b10742 为 A18 Pro 添加了 fa-vec 调优

llama.cpp 项目发布了 b10742 版本，其中包含一项新功能，专门为 MacBook Neo 中的 Apple A18 Pro 芯片添加了快速向量 (fa-vec) 调优。