llama.cpp 版本 b9745 引入了对 Step3.5/3.7 flash MTP3 的支持,包括用于层偏移和 nextn 标志的新 API。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的预构建二进制文件,并支持 CPU、Vulkan、CUDA、OpenVINO 和 SYCL 加速选项。
llama.cpp 发布 b9745,添加 MTP3 支持及跨平台二进制文件
译自 English → 中文
llama.cpp 版本 b9745 引入了对 Step3.5/3.7 flash MTP3 的支持,包括用于层偏移和 nextn 标志的新 API。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 的预构建二进制文件,并支持 CPU、Vulkan、CUDA、OpenVINO 和 SYCL 加速选项。