github llama.cpp · 5 小时前 · inference

llama.cpp b11362 为 F16 KV 的张量 API 添加 flash attention 内核

译自 English → 中文

llama.cpp 项目发布了构建版本 b11362，引入了支持 F16 键值 (KV) 存储的新张量 API flash attention 内核。此更新适用于 macOS、Linux、Windows、Android 和 iOS 平台，并提供包括 CUDA、Vulkan 和 ROCm 在内的多种后端选项。

为特定维度添加了张量 FA 内核：DK=DV=512、DK=576/DV=512 和 DK=192/DV=128。
新内核支持 attention sinks、ALiBi 和 logit softcap 机制。
为 CPU、GPU (CUDA 12/13, Vulkan, ROCm 10.0) 和 NPU (Snapdragon Hexagon) 后端提供了预编译二进制文件。

此发布版本可在支持的硬件配置上实现更高效的注意力计算。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

阅读原文

github llama.cpp · 2 小时前 · 1 次浏览

llama.cpp b11368 为简单草稿和 MTP 添加概率采样

llama.cpp 项目发布了构建版本 b11368，引入了用于简单草稿和 MTP（Multi-Token Prediction）工作流 probabilistic sampling。此更新修改了草稿机制，以使用概率选择并通过拒绝采样验证目标。

github llama.cpp · 9 小时前 · 4 次浏览

llama.cpp b11351 向 ggml 后端缓冲区类型接口添加 alloc_buffer_n 和 get_alloc_size_n

llama.cpp 项目发布了构建版本 b11351，为 ggml 后端缓冲区类型接口引入了新方法。此次更新添加了 `alloc_buffer_n` 和 `get_alloc_size_n`，以实现对缓冲区分配和大小查询的更精细控制。

github llama.cpp · 1 天前 · 1 次浏览

llama.cpp b11338 为 CPY 和 CONCAT 添加共享步长 DMA 复制

llama.cpp 项目发布了构建版本 b11338，引入了用于 CPY 和 CONCAT 操作的共享步长直接内存访问 (DMA) 复制机制。此更新支持在 Hexagon 架构上通过 DMA 进行任意维度的 CONCAT。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b11335 将 sm70 路由至 Turing MMVQ 表以优化 Volta 性能

llama.cpp 项目发布了版本 b11335，其中包含针对 Volta GPU 的 CUDA 优化。该更新将 sm_70 架构路由到现有的 Turing MMVQ nwarps 表，而不是回退到通用配置。

github llama.cpp · 1 天前 · 1 次浏览

llama.cpp b11333 为 MUL_MAT 操作添加 WebGPU bfloat16 支持

llama.cpp 项目发布了构建版本 b11333，在其 WebGPU 后端中引入了对 MUL_MAT、MUL_MAT_ID 和 GET_ROWS 操作的 bfloat16 支持。