github llama.cpp · 7 小时前 · inference

llama.cpp b11280 发布通过固定主机缓冲区减少张量 allreduce 同步

译自 English → 中文

llama.cpp 项目发布了版本 b11280，其中包括通过使用固定主机缓冲区来减少张量 allreduce 同步的更改。

此更新适用于多个平台和后端，包括 macOS（Apple Silicon 和 Intel）、Linux（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 和 Snapdragon）、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 ROCm 10.0）、Android 和 iOS。

该版本还为 llama.cpp UI 提供了二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Hardware & chips Inference efficiency

阅读原文

media Hugging Face Forums · 18 小时前 · 1 次浏览

AI Hardware Fit 将模型显存需求与 GPU 选型关联

AI Hardware Fit 的创作者发布了一款免费开源浏览器工具，旨在帮助用户判断本地模型是否适配其 GPU，并比较合适的硬件选项。该工具解决了从不同来源拼凑模型文件、量化方式、上下文长度和运行时支持所面临的复杂性。

github llama.cpp · 4 天前 · 8 次浏览

llama.cpp b11203 为 CUDA FWHT 添加 F16 输入支持

llama.cpp 项目发布了版本 b11203，其中包括对 CUDA Fast Walsh-Hadamard Transform (FWHT) 的更改，以接受 F16 输入。此前，CUDA FWHT 仅接受 F32 输入；此更新使源类型成为模板参数，以便内核直接读取 F16 源，而无需转换副本。

github llama.cpp · 5 天前 · 21 次浏览

llama.cpp 修复 MTT S5000 算子故障并启用 CUB 路径

llama.cpp 项目发布了针对 MUSA (MTT S5000) 算子故障和构建问题的修复，专门针对 PH1 架构。此更新解决了导致该硬件出现错误结果或超时的关键错误。

github llama.cpp · 6 天前 · 22 次浏览

llama.cpp b11160 为 AMD RDNA3/4 添加 int8 coopmat1 矩阵乘法及 IQ4_XS 支持

llama.cpp 项目发布了 b11160 版本，在 AMD RDNA3 和 RDNA4 架构的 Vulkan 上引入了 int8 协同矩阵 (coopmat1) 实现。此更新包含一个专用着色器，直接探测 coopmat 值以提升性能。

github llama.cpp · 11 天前 · 24 次浏览

llama.cpp b11059 为 Metal FWHT 内核添加 F16 支持

llama.cpp 项目发布了构建版本 b11059，其中针对 Apple Silicon 硬件的 Metal 后端引入了重大更新。主要更改是为快速沃尔什-哈达玛变换（FWHT）内核添加了 F16 输入支持，使其能够直接读取 F16 源数据，而无需进行转换副本。