github llama.cpp · 2 小时前 · inference

llama.cpp b10658 添加 DFlash2 支持并修复 mrope 错误

译自 English → 中文

llama.cpp 项目发布了构建版本 b10658，引入了对 DFlash2 规范的支持，其中包括局部卷积和候选选择器。此更新还解决了代码库中的特定 mrope 错误。

添加了具有局部卷积和候选选择器功能的 DFlash2 支持。
在 DFlash2 实现中包含了 p_min 参数。
应用了修复 mrope 错误的补丁。
优化了 DFlash2 成本并重构了代码结构。
发布了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件，支持 CPU、GPU 和各种加速后端。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

阅读原文

github llama.cpp · 刚刚 · 1 次浏览实时

llama.cpp b10662 添加 ctx-per-slot 以支持统一 KV 缓存

llama.cpp 项目发布了构建版本 b10662，引入了一个新的 `--kv-unified-per-slot` 参数，允许用户为统一 KV 缓存指定每个槽位的上下文。此更改用上下文池槽位替换了之前的上下文比例机制，并重构了底层实现。

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp 添加对 Qwen3.8-Flash-Next (qwen4exp) 架构的支持

llama.cpp 项目已添加对 Qwen3.8-Flash-Next (qwen4exp) 模型架构的支持，实现了其特定组件，包括超连接、门控 delta 网络、专家混合（MoE）和 PLE n-gram 哈希嵌入。

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp 在 Windows ROCm 版本中捆绑 HIP runtime DLL

llama.cpp 项目已更新其 Windows ROCm 版本，将必要的 HIP runtime DLL 直接打包到二进制文件旁边。此更改解决了问题 #26929，确保加载正确的 HIP runtime，而不是可能与 System32 中的驱动程序副本发生冲突。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10656 限制工作内存以避免将大型张量加载到 RAM

llama.cpp 项目发布了构建版本 b10656，其中包括对工作内存大小的限制更改。此修改旨在防止大型张量被加载到系统 RAM 中。

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10657 为 GEMO MOE 添加了 OpenCL 二进制内核

llama.cpp 项目发布了 b10657 版本，引入了用于混合专家模型的新 OpenCL 二进制内核。具体而言，该更新添加了 `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` 和 `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` 以支持在兼容硬件上进行高效计算。