github llama.cpp · 3 小时前 · inference

llama.cpp b10180 为 SYCL 一元运算添加连续快速路径和 32 位索引数学

译自 English → 中文

llama.cpp 项目发布了构建版本 b10180，引入了针对 SYCL 后端的性能优化。该更新实现了连续快速路径，并将逐元素索引数学切换为使用 fastdiv 配合 32 位整数。

此版本为 macOS、Linux、Windows、Android 和 openEuler 提供了适用于 CPU、GPU 和各种加速器后端的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了构建版本 b10155，引入了对 MiMo-V2.5 音频输入模型的支持。此更新包括用于 MiMo 音频的 GGUF 转换器，并实现了处理基于 RVQ 的音频模型所需的 C++ 后端逻辑。

llama.cpp 项目发布了构建版本 b10150，其中包括对将操作卸载到权重后端的 ggml 逻辑的调整。此更新还解决了 llama dsv4 图的修复问题。

作者将诊断工具集成到了 TraceML（一个开源 PyTorch 可观测性项目）中，以帮助用户区分由 GPU 计算限制和输入限制导致的训练性能问题。这个新功能允许开发人员快速确定低 GPU 利用率是由数据加载缓慢还是模型计算能力限制引起的。

Aaron Teo 向 llama.cpp 仓库提交了一项更改，引入了一个新的 `-lm mlock` 命令行参数。此新增功能允许用户显式锁定代码执行 `mlock` 操作但未使用 `mmap` 的内存区域。

llama.cpp 项目发布了构建版本 b10093，其中包括支持 DeepSeek v4 模型的具体更新。该版本解决了模板处理问题，并为该模型系列引入了新的配置标志。