github llama.cpp · 1 小时前 · inference

llama.cpp b11424 修复 Vulkan Flash Attention 共享内存越界写入问题

译自 English → 中文

llama.cpp 项目已发布版本 b11424，其中包含对在使用 Flash Attention 时 Vulkan 后端共享内存越界写入错误的修复。

此更新提供了适用于 macOS（Apple Silicon 和 Intel）、Linux（CPU、CUDA、ROCm、OpenVINO、SYCL、Snapdragon）、Windows（CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm）、Android 和 iOS 的预编译二进制文件。该版本还包含了 llama.cpp 的用户界面。

此版本中 macOS Apple Silicon 上的 KleidiAI 构建当前已禁用。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

相关文章

github llama.cpp · 4 小时前 · 4 次浏览

llama.cpp b11413 为量化 K/V 添加 Vulkan 稀疏闪存注意力

llama.cpp b11413 版本引入了新的基于 Vulkan 的稀疏闪存注意力实现，支持量化的键和值张量。此更新解决了之前压缩方法中的性能问题，该方法对于具有大上下文窗口的解码任务来说成本过高。

github llama.cpp · 8 小时前 · 20 次浏览

llama.cpp b11405 将闪电索引器分块应用于键和令牌，覆盖4个头

llama.cpp b11405 版本通过为4个头将闪电索引器分块应用于键和令牌，更新了 CUDA 后端，解决了小头数量带来的性能问题。

github llama.cpp · 9 小时前 · 23 次浏览

llama.cpp b11403 在小批量时使用 MMVF 进行细粒度 f16/bf16 mul_mat

llama.cpp 项目发布了版本 b11403，其中包括一项 CUDA 优化，用于在小批量大小下使用 MMVF 内核进行细粒度 f16 和 bf16 矩阵乘法。

github llama.cpp · 1 天前 · 31 次浏览

llama.cpp b11390 修复 CUDA MMQ 内存故障

llama.cpp 项目发布了版本 b11390，其中包含对 CUDA MMQ 内存故障的修复，该故障发生在专家数量显著大于微批次大小时。

github llama.cpp · 2 天前 · 29 次浏览

llama.cpp b11375 修复了在 GGML_SCHED_NO_REALLOC 下因图重新分配导致的中止问题

llama.cpp 项目发布了构建版本 b11375，解决了一个关键问题：非连续 ubatch 单元会强制进行图重新分配，当设置 GGML_SCHED_NO_REALLOC 标志时会导致中止。