github llama.cpp · 1 小时前 · inference

llama.cpp b10326 在计时中计入声码器传递

译自 English → 中文

llama.cpp 项目发布了构建版本 b10326，通过包含声码器传递来修改时间测量的计算方式。

该更新确保 `get_output` 运行由管道延迟的波形工作，根据模型的不同，测量范围从单个尾部窗口到完整传递。
此更改保持了报告总时间和音频处理比率的准确性。
二进制文件适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler。

该修改通过确保音频处理开销在报告的计时中得到正确计算，提高了性能指标的准确性。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

github llama.cpp · 1 小时前实时

llama.cpp b10321 修复了针对部分 simdgroup 行长度的 NORM/RMS_NORM

llama.cpp 项目发布了版本 b10321，其中包含对 Metal 上 GGML_OP_NORM 和 GGML_OP_RMS_NORM 操作的关键修复。此次更新解决了由于丢弃的部分求和导致线程组大小留下部分 SIMD 组时，均值和方差计算不正确的问题。

github llama.cpp · 2 小时前

llama.cpp b10322 合并 SSM_CONV 窗口加载以实现 ~1.85x 加速

llama.cpp 项目发布了构建版本 b10322，其中包含一项性能优化，可在 SYCL 后端合并 SSM_CONV 窗口加载。

github llama.cpp · 4 小时前

llama.cpp b10313 为服务器添加了 LRU 调度器

llama.cpp 项目发布了版本 b10313，为其服务器组件引入了最近最少使用 (LRU) 调度器。此更新包括请求合并的处理以及针对流式传输情况的修复。

github llama.cpp · 5 小时前

llama.cpp b10311 修复 Qwen3-TTS 文本流重复问题

llama.cpp 项目发布了构建版本 b10311，其中包含对 Qwen3-TTS 管道的修复。此次更新解决了模型在生成过程中两次读取输入语句的问题。

github llama.cpp · 6 小时前

llama.cpp b10312 发布，修复繁忙模型的服务器问题

llama.cpp 项目已发布 b10312 版本，其中包含对服务器组件的特定更新。主要更改解决了繁忙模型被路由器驱逐的问题。