github llama.cpp · 1 小时前 · inference

llama.cpp b10726 使用 AVX2 加速大批次 IQ 模型提示处理

译自 English → 中文

llama.cpp 项目发布了 b10726 版本，引入了针对 IQ 量化模型中大批次大小处理的显著性能优化。主要更新利用 AVX2 指令通过批处理 GEMM 操作加速网格 IQ 量化。

用于网格 IQ 量化的批处理 GEMM 实现
IQ 面板解码的向量化，降低阈值以实现加速
引入 ggml_gemm_iqp_8x8_q8_K_p4 内核并移除 gather 缓冲区
单一来源 gather 布局、门控偏置和 IQ 面板的向量化交织
添加 NUMA 回退支持和用于 IQP 覆盖的 10 行批次测试

此发布为在兼容硬件上运行 IQ 模型的用户提供了更快的推理能力。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 3 小时前 · 1 次浏览

llama.cpp b10723 针对 Intel Xe-LP GPU 调整 OpenCL 量化路径

llama.cpp 项目发布了版本 b10723，其中包括针对 Intel Xe-LP 图形硬件的 OpenCL 特定优化。此次更新侧重于通过调整量化内核来改进张量生成 (TG) 和预填充 (PP) 性能。

github llama.cpp · 6 小时前 · 1 次浏览

llama.cpp b10718 将 MOE 融合扩展至 specdec 和多 token

llama.cpp 项目发布了版本 b10718，其中包含对其 CUDA 后端的重大更新。最显著的变化是将 Mixture of Experts (MOE) 融合扩展到支持推测解码（specdec），解决了之前 MOE glu 融合和 topk-router 融合仅限于一次处理一个 token 的限制。

github llama.cpp · 8 小时前 · 3 次浏览

llama.cpp b10717 发布增强了 SYCL 内存信息检索

llama.cpp 项目发布了版本 b10717，其中包括对 Intel GPU 的 SYCL 后端的特定增强。此更新通过利用 L0 SYCL API 提高了获取空闲内存信息的能力。

github llama.cpp · 14 小时前 · 3 次浏览

llama.cpp b10712 为 Qwen 3.8 Flash Next 添加 Vulkan top-k radix select

llama.cpp 项目发布了构建版本 b10712，引入了一个新的用于 Vulkan 的 top-k radix sort 着色器，旨在支持大于或等于 1024 的 k 值。此更新专门针对 Qwen 3.8 Flash Next 模型，并包含相应的测试以及 top-k qsa 融合。

github llama.cpp · 21 小时前 · 6 次浏览

llama.cpp b10705 改进了 TENSOR_READ_LAZY 处理

llama.cpp 项目发布了版本 b10705，其中包括对 TENSOR_READ_LAZY 处理机制的改进。当启用延迟设置时，此更新会强制在 CPU 上加载延迟张量。