github llama.cpp · 1 小时前 · inference

llama.cpp b10241 修复了 CUDA block_reduce 中的 SMEM 数据竞争

译自 English → 中文

llama.cpp 项目发布了版本 b10241，解决了 CUDA 后端中的一个关键错误。此次更新解决了在块归约期间重用共享内存 (SMEM) 时发生的数据竞争问题。

修复了 block_reduce 中从 SMEM 读取后缺少重新同步的问题，以防止数据竞争。
为单行 softmax 和归一化操作实现了双缓冲机制。
添加了专门针对多 warp 场景的解释性注释和内存屏障。
提供了适用于 macOS、Linux、Windows、Android 和 iOS 的二进制文件，支持 CPU、CUDA、Vulkan、ROCm 及其他后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

media Hugging Face Forums · 4 小时前 · 1 次浏览

Quesma 发布包含 218 个工具和论文的精选地图，旨在提高 LLM 令牌成本效率

Quesma 发布了一份开放的、经过筛选的列表，其中包含 218 条条目，用于追踪在 LLM 和智能体工作流中令牌的消耗情况。该资源涵盖监控、语义缓存、廉价本地模型、上下文工程以及成本管理。

github llama.cpp · 7 小时前

llama.cpp b10238 为 Qwen3-Next 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10238，其中引入了对 Qwen3-Next 模型系列的 Multi-Token Prediction (MTP) 支持。此更新包括处理 MTP 层的具体实现更改，以及修复代码库中与 Python 类型检查相关的问题。

github llama.cpp · 8 小时前 · 3 次浏览

llama.cpp b10237 为 DeepSeek V3.2 添加 MTP 支持

llama.cpp 项目发布了构建版本 b10237，该版本为 DeepSeek V3.2 模型引入了多令牌预测（MTP）支持。

media Hugging Face Forums · 10 小时前 · 2 次浏览

Qxern-v6 使用潜在 token 和 AST 旁路实现更快、更准确的代码传输

Qxern-v6 系统使两个 LLM 能够通过 32 个压缩的潜在 token 进行通信，同时通过自适应确定性抽象语法树 (AST) 旁路保持精确的符号准确性。该系统由一名 15 岁的开发者构建，其架构使用 Qwen2.5-Coder-1.5B 压缩代码，并使用冻结的 Qwen3.5-0.8B 解码器来解析代码，而无需查看原始文本。

github llama.cpp · 11 小时前 · 6 次浏览

llama.cpp b10236 实现 Metal DSv4 Lightning Indexer

llama.cpp b10236 版本引入了 DSv4 Lightning Indexer 的 Metal 实现，专门支持 128 维输入，配合 F32 查询和权重以及 F16 键和掩码。