github llama.cpp · 1 小时前 · inference

llama.cpp b10212 仅在使用时加载 MTP 张量

译自 English → 中文

llama.cpp 项目发布了版本 b10212，其中包含一项更改：仅在实际使用时才加载 Multi-Token Prediction (MTP) 张量。此更新确保在加载支持该功能但不需要它的其余模型时跳过 MTP 张量。

此优化减少了未使用 Multi-Token Prediction 的模型的额外内存开销。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了版本 b10210，其中包括对服务器逻辑的修正，用于处理需要草稿令牌重放时接受的令牌。

llama.cpp b10208 版本引入了对 oneMKL GEMM flash attention 的 SYCL 支持，从而启用 XMX 硬件加速以处理提示。这一变更通过利用 MKL 内核而非默认的 TILE 路径，显著提升了 Intel Arc GPU 上的推理速度。

llama.cpp 项目发布了版本 b10207，其中包含一个拉取请求，旨在为 cpy 操作中此前不支持的数据类型添加 SYCL 支持。

llama.cpp 项目发布了版本 b10206，引入了对注意力机制中键值缓存处理方式的具体更改。此次更新确保 DeepSeek V4 模型的 K 和 V 缓存类型保持一致。

llama.cpp 项目发布了 b10202 版本，引入了将 RMS_NORM 和 MUL 操作融合的 SYCL 优化。