media r/LocalLLaMA · 1 小时前 · open_models

ExLlamaV3 为 MoE 专家添加 CPU 卸载功能，并支持新的 GLM-5.3-Flash、Qwen3.8-Flash 模型

译自 English → 中文

Turboderp 发布了 ExLlamaV3 的重大更新，引入了针对混合专家（MoE）专家的 CPU 卸载功能。此次更新还包括对新发布的 GLM-5.3-Flash 和 Qwen3.8-Flash 模型的支持。

专门针对 MoE 专家实现的 CPU 卸载。
支持具有 ngram 磁盘卸载功能的 Qwen-3.8-Flash-Next。
通过 exl3 格式集成 GLM-5.3-Flash。
引入一种新的自校准优化技术。
对引擎进行的 various 其他优化和改进。

这些更新扩展了 ExLlamaV3 的硬件灵活性和模型兼容性，允许用户利用 CPU 资源处理特定的模型组件。

重要性 2/3 具有差异化优势的新评测框架 r/LocalLLaMA Inference efficiency Local inference

相关文章

github llama.cpp · 14 小时前 · 2 次浏览

llama.cpp b10724 优化 kv-cache 状态恢复，将复制次数从 1.3M 减少到 224

llama.cpp 项目发布了构建版本 b10724，通过按连续运行批次化 scatter 读取，显著提高了恢复非连续 KV 缓存单元的性能。

github llama.cpp · 16 小时前 · 3 次浏览

llama.cpp b10721 修复了 WebGPU 崩溃并增加了对 Windows CUDA 13.4 的支持

llama.cpp 项目发布了构建版本 b10721，其中包括对 WebGPU 后端的重大修复，并扩展了 Windows 上的硬件支持。

github llama.cpp · 18 小时前 · 9 次浏览

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 21 小时前 · 4 次浏览

llama.cpp b10715 将 DFlash 编码器融合到 KV 缓存注入中

llama.cpp 项目发布了构建版本 b10715，其中包含对 DFlash 实现的一项关键优化。DFlash 编码器现在在解码期间直接融合到 KV 缓存注入过程中。

github llama.cpp · 23 小时前 · 2 次浏览

llama.cpp b10714 为 Strix Halo 调整 Vulkan mat-vec 行数

llama.cpp 项目发布了构建版本 b10714，其中包括针对 AMD Strix Halo 硬件的 Vulkan 后端的特定优化。该更新调整了矩阵-向量乘法行数，以改进批量推理期间的性能。