github llama.cpp · 1 小时前 · inference

llama.cpp b10311 修复 Qwen3-TTS 文本流重复问题

译自 English → 中文

llama.cpp 项目发布了构建版本 b10311，其中包含对 Qwen3-TTS 管道的修复。此次更新解决了模型在生成过程中两次读取输入语句的问题。

修复了非流式预填充覆盖层中的错误，该错误导致在 Qwen3-TTS 生成期间再次馈送文本流。
修正了尾部文本隐藏状态，使其折叠为单个 tts_pad 行，以匹配预填充布局。
提供适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL）和 openEuler 的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

github llama.cpp · 刚刚实时

llama.cpp b10313 为服务器添加了 LRU 调度器

llama.cpp 项目发布了版本 b10313，为其服务器组件引入了最近最少使用 (LRU) 调度器。此更新包括请求合并的处理以及针对流式传输情况的修复。

github llama.cpp · 1 小时前实时

llama.cpp b10312 发布，修复繁忙模型的服务器问题

llama.cpp 项目已发布 b10312 版本，其中包含对服务器组件的特定更新。主要更改解决了繁忙模型被路由器驱逐的问题。

github llama.cpp · 4 小时前

llama.cpp b10307 修复 SYCL NVFP4 解析

llama.cpp 项目发布了版本 b10307，其中包含对 SYCL GPU 代码的修复，以正确解析 NVFP4 量化中使用的 UE4M3 缩放因子。

github llama.cpp · 5 小时前

llama.cpp b10305 为 DSv4 OPs 添加 SYCL 支持

llama.cpp 项目发布了构建版本 b10305，在 SYCL 后端引入了对特定 DSv4 操作的支持。此更新包括 LIGHTNING_INDEXER、DSV4_HC_COMB、DSV4_HC_POST 和 DSV4_HC_PRE 算子的实现。

github llama.cpp · 5 小时前

llama.cpp b10306 添加 SYCL GLU 扁平路径并整合内核

llama.cpp b10306 版本引入了针对 SYCL 后端的性能优化，特别针对门控线性单元（GLU）操作。此次更新为融合的 GLU 操作添加了连续的快速路径，并将之前不同的内核整合以共享一个通用的启动器。