github llama.cpp · 1 小时前 · inference

llama.cpp b10150 调整 ggml 卸载逻辑并修复 dsv4 图

译自 English → 中文

llama.cpp 项目发布了构建版本 b10150，其中包括对将操作卸载到权重后端的 ggml 逻辑的调整。此更新还解决了 llama dsv4 图的修复问题。

此版本为 macOS、Linux、Windows、Android 和 iOS 提供了更新的二进制文件，支持包括 CPU、CUDA、Vulkan、ROCm 和 OpenVINO 在内的各种硬件后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

作者将诊断工具集成到了 TraceML（一个开源 PyTorch 可观测性项目）中，以帮助用户区分由 GPU 计算限制和输入限制导致的训练性能问题。这个新功能允许开发人员快速确定低 GPU 利用率是由数据加载缓慢还是模型计算能力限制引起的。

Aaron Teo 向 llama.cpp 仓库提交了一项更改，引入了一个新的 `-lm mlock` 命令行参数。此新增功能允许用户显式锁定代码执行 `mlock` 操作但未使用 `mmap` 的内存区域。

llama.cpp 项目发布了构建版本 b10093，其中包括支持 DeepSeek v4 模型的具体更新。该版本解决了模板处理问题，并为该模型系列引入了新的配置标志。

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。

llama.cpp 项目发布了构建版本 b10076，通过在 CUDA 后端对 `get_rows` 操作进行向量化并使用 int4 复制，引入了性能优化。此更改将行不变的工作从逐元素循环中提升出来，并添加了一个向量化路径，为连续的同类型数据每个线程复制 16 字节。