llama.cpp 发布了版本 b9757,包含适用于 macOS、Linux、Android、Windows 和 openEuler 的更新二进制文件。该版本移除了 top-n-sigma 采样器中无条件执行的 softmax+sort 操作,提升了采样效率。新构建支持 Vulkan、OpenVINO、SYCL、ROCm 和 CUDA,涵盖多种架构,包括 Apple Silicon 和 ARM64。
llama.cpp 发布 b9757:新二进制文件和功能
译自 English → 中文