github llama.cpp · 1 小时前 · inference

llama.cpp b10155 添加 MiMo-V2.5 音频支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10155，引入了对 MiMo-V2.5 音频输入模型的支持。此更新包括用于 MiMo 音频的 GGUF 转换器，并实现了处理基于 RVQ 的音频模型所需的 C++ 后端逻辑。

添加了使用基于 RVQ 的模型架构的 MiMo-V2.5 音频输入支持。
包含了专门针对 MiMo 音频格式的 GGUF 转换器。
实现了新模型类型相应的 C++ 推理代码。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux、Windows、Android 和 openEuler 的二进制文件，涵盖 CPU、GPU 和专用硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了构建版本 b10150，其中包括对将操作卸载到权重后端的 ggml 逻辑的调整。此更新还解决了 llama dsv4 图的修复问题。

作者将诊断工具集成到了 TraceML（一个开源 PyTorch 可观测性项目）中，以帮助用户区分由 GPU 计算限制和输入限制导致的训练性能问题。这个新功能允许开发人员快速确定低 GPU 利用率是由数据加载缓慢还是模型计算能力限制引起的。

Aaron Teo 向 llama.cpp 仓库提交了一项更改，引入了一个新的 `-lm mlock` 命令行参数。此新增功能允许用户显式锁定代码执行 `mlock` 操作但未使用 `mmap` 的内存区域。

llama.cpp 项目发布了构建版本 b10093，其中包括支持 DeepSeek v4 模型的具体更新。该版本解决了模板处理问题，并为该模型系列引入了新的配置标志。

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。