github llama.cpp · 1 小时前 · inference

llama.cpp b11403 在小批量时使用 MMVF 进行细粒度 f16/bf16 mul_mat

译自 English → 中文

llama.cpp 项目发布了版本 b11403，其中包括一项 CUDA 优化，用于在小批量大小下使用 MMVF 内核进行细粒度 f16 和 bf16 矩阵乘法。

调整了内核选择逻辑以改善 NVIDIA GPU 上的性能。
提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon）、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 openEuler 的二进制文件。
除了标准二进制文件外，还包含了 iOS XCFramework 和 UI 构建版本。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 1 小时前 · 1 次浏览实时

llama.cpp b11405 将闪电索引器分块应用于键和令牌，覆盖4个头

llama.cpp b11405 版本通过为4个头将闪电索引器分块应用于键和令牌，更新了 CUDA 后端，解决了小头数量带来的性能问题。

github llama.cpp · 19 小时前 · 28 次浏览

llama.cpp b11390 修复 CUDA MMQ 内存故障

llama.cpp 项目发布了版本 b11390，其中包含对 CUDA MMQ 内存故障的修复，该故障发生在专家数量显著大于微批次大小时。

github llama.cpp · 2 天前 · 24 次浏览

llama.cpp b11375 修复了在 GGML_SCHED_NO_REALLOC 下因图重新分配导致的中止问题

llama.cpp 项目发布了构建版本 b11375，解决了一个关键问题：非连续 ubatch 单元会强制进行图重新分配，当设置 GGML_SCHED_NO_REALLOC 标志时会导致中止。

github llama.cpp · 2 天前 · 29 次浏览

llama.cpp b11372 将 qwen4exp 索引器内存减半并增加 CUDA 4头支持

llama.cpp b11372 版本引入了针对 qwen4exp 模型闪电索引器的优化，主要是在长上下文处理期间将索引器分数所需的内存减半。这是通过就地计算头分数而不是为每个头生成单独的张量来实现的。

github llama.cpp · 2 天前 · 30 次浏览

llama.cpp b11368 为简单草稿和 MTP 添加概率采样

llama.cpp 项目发布了构建版本 b11368，引入了用于简单草稿和 MTP（Multi-Token Prediction）工作流 probabilistic sampling。此更新修改了草稿机制，以使用概率选择并通过拒绝采样验证目标。