LLaMA.cpp 发布了版本 b9784,对基于 Hexagon 的 MM 操作进行了重大优化,包括 32x32 分块权重重排、改进的 dyn.quant 处理以及统一的内核参数管理。该版本包含适用于 macOS(arm64 和 x64)、iOS 以及多种 Linux 架构的新二进制文件,支持 Vulkan、ROCm 和 OpenVINO。
LLaMA.cpp 发布 b9784:Hexagon MM 优化与跨平台二进制文件
译自 English → 中文
LLaMA.cpp 发布了版本 b9784,对基于 Hexagon 的 MM 操作进行了重大优化,包括 32x32 分块权重重排、改进的 dyn.quant 处理以及统一的内核参数管理。该版本包含适用于 macOS(arm64 和 x64)、iOS 以及多种 Linux 架构的新二进制文件,支持 Vulkan、ROCm 和 OpenVINO。