llama.cpp 项目发布了构建版本 b10760，其中包括针对 Qwen3-tts-0.6B 模型的具体修复，以防止推理期间的数值不稳定。
- mtmd 加载器现在将 qwen3-tts 代码预测器的 proj_in 视为可选，与省略该张量的参考实现保持一致。
- 由于代码预测器的 ffn_down 层的激活峰值约为 1.5e5，超过了 F16 的上限并导致 NaN 错误，因此将其保持在 F32 精度。
这些更改确保图正确缺失权重处理，并防止此特定检查点中高层激活的溢出。
github
llama.cpp
·
8 小时前
·
inference
llama.cpp b10760 修复 Qwen3-tts-0.6b 推理稳定性
译自 English → 中文
相关文章
github
llama.cpp
·
1 小时前
·
1 次浏览
实时
llama.cpp b10763 默认启用 preserve_reasoning
llama.cpp 项目发布了构建版本 b10763，该版本更改了 `preserve_reasoning` 聊天模板关键字参数的默认行为。服务器现在会记录此 kwarg 的有效状态，并在支持的模板中默认启用时发出警告。
github
llama.cpp
·
23 小时前
·
1 次浏览
llama.cpp b10751 为 CUDA 融合 MoE 加权专家归约
llama.cpp 项目发布了构建版本 b10751，其中引入了针对 CUDA 上 MoE（混合专家）加权专家归约的融合内核。该优化用单个加权归约内核替换了之前运行两个物理内核的基线方案，以减少中间全局内存流量。
github
llama.cpp
·
1 天前
·
1 次浏览
llama.cpp b10750 优化 KV 缓存 n-gram 查找，吞吐量提升 4.9%
llama.cpp 项目发布了构建版本 b10750，重构了键值单元管理以改进序列位置索引和 n-gram 历史查找。
github
llama.cpp
·
1 天前
·
1 次浏览
llama.cpp b10742 为 A18 Pro 添加了 fa-vec 调优
llama.cpp 项目发布了 b10742 版本，其中包含一项新功能，专门为 MacBook Neo 中的 Apple A18 Pro 芯片添加了快速向量 (fa-vec) 调优。
github
llama.cpp
·
1 天前
·
1 次浏览
llama.cpp b10739 为 M2 Max 添加 fa-vec 调优
llama.cpp 项目发布了版本 b10739，其中包括针对 Apple M2 Max 硬件的特定性能优化。此更新引入了针对 M2 Max 的 30 个 GPU 核心的快速注意力向量 (fa-vec) 调优。