github llama.cpp · 2 小时前 · inference

Aaron Teo 为 llama.cpp 添加 -lm mlock 参数

译自 English → 中文

Aaron Teo 向 llama.cpp 仓库提交了一项更改，引入了一个新的 `-lm mlock` 命令行参数。此新增功能允许用户显式锁定代码执行 `mlock` 操作但未使用 `mmap` 的内存区域。

该提交还包括文档更新以及对自动化审查点的修复，同时还原了之前对 `--mlock` 标志含义的更改，以确保其仅适用于非 mmap 的 mlock 场景。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

TraceML 添加 Hugging Face Trainer 回调以诊断数据加载瓶颈

作者将诊断工具集成到了 TraceML（一个开源 PyTorch 可观测性项目）中，以帮助用户区分由 GPU 计算限制和输入限制导致的训练性能问题。这个新功能允许开发人员快速确定低 GPU 利用率是由数据加载缓慢还是模型计算能力限制引起的。

github llama.cpp · 4 天前

llama.cpp b10093 修复了 DeepSeek v4 模板并添加了 drop_reasoning 标志

llama.cpp 项目发布了构建版本 b10093，其中包括支持 DeepSeek v4 模型的具体更新。该版本解决了模板处理问题，并为该模型系列引入了新的配置标志。

github llama.cpp · 5 天前 · 1 次浏览

llama.cpp b10089 为 CUDA GET_ROWS 添加完整的 k-quant 和 i-quant 支持

llama.cpp b10089 版本扩展了 CUDA GET_ROWS 操作，以支持 k-quants、i-quants 和 mxfp4 量化格式。此更改确保所有量化的 GGML 类型现在都可以采用直接设备路径进行嵌入查找。

github llama.cpp · 6 天前

llama.cpp b10076 使用 int4 复制向量化 get_rows，实现 27% 加速

llama.cpp 项目发布了构建版本 b10076，通过在 CUDA 后端对 `get_rows` 操作进行向量化并使用 int4 复制，引入了性能优化。此更改将行不变的工作从逐元素循环中提升出来，并添加了一个向量化路径，为连续的同类型数据每个线程复制 16 字节。

media Hugging Face Forums · 9 天前 · 3 次浏览

zhongkaifu 发布 TensorSharp，一个面向 GGUF 模型的本地 .NET LLM 推理引擎

zhongkaifu 发布了 TensorSharp，这是一个完全使用 C# 构建的开源本地 LLM 推理引擎，支持 Windows、macOS 和 Linux。该引擎处理来自 Unsloth 的 GGUF 模型，包括具有多模态能力的 Gemma 4 和 Qwen 3.6，同时提供与 OpenAI 和 Ollama 兼容的 API。