github llama.cpp · 19 小时前 · inference

llama.cpp b11102 新增对 MiMo-V2.6 的支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b11102，引入了对转换 MiMo-V2.6 模型的支持。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了版本 b11122，其中包括对 SYCL 后端的重大更新。该版本扩展了 MMVQ GLU 融合以支持混合量化类型，并为 rms_norm+scale 和 ssm_conv+silu 操作引入了新的融合。

llama.cpp 项目发布了版本 b11120，通过隐藏内部符号解决了 Vulkan 后端中的一个关键错误。此更改防止了在导出内部符号时发生的重复 dlopen 状态销毁问题。

llama.cpp 项目已发布构建版本 b11118，其中包含一项新的 hex-dma 功能，引入了更适合 Hexagon Vector eXtended (HVX) FA 掩码处理的直接映射 DMA 缓存。

llama.cpp 项目通过暴露目标图中的层输入张量，为 HunyuanOCR 模型添加了针对 DFlash 推测解码的支持。此更改使草稿模型能够读取残差流，从而使图像请求能够成功运行，其草稿接受率约为 0.5，且与非推测运行相比，OCR 输出字节完全一致。

llama.cpp 项目发布了版本 b11104，引入了一项新功能，允许 llama-server 组件同时绑定到多个网络地址。