LLaMA.cpp 的 b9771 版本在 Linux 和 Windows 上引入了 Vulkan 支持,通过将 mul_mm ALIGNED 设为规范常量,减少了着色器变体和二进制文件大小。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件,并包含 CPU、Vulkan、OpenVINO、SYCL 和 ROCm 的变体。
LLaMA.cpp 发布 b9771,新增 Vulkan 支持及优化
译自 English → 中文