llama.cpp 发布了版本 b9752,对服务器进行了重构,重点在于批处理构建,包括改进了对批处理满情况的处理以及错误修复。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件,支持多种架构以及 CUDA、Vulkan、OpenVINO 和 SYCL 等加速框架。
llama.cpp 发布 b9752:服务器重构与跨平台二进制文件
译自 English → 中文
llama.cpp 发布了版本 b9752,对服务器进行了重构,重点在于批处理构建,包括改进了对批处理满情况的处理以及错误修复。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件,支持多种架构以及 CUDA、Vulkan、OpenVINO 和 SYCL 等加速框架。