llama.cpp 项目发布了版本 b9966,其中包含针对 tensor-split 正则表达式的性能优化。`llama_meta_device_get_split_state()` 函数此前在每次调用时都会重新编译 29 个 `std::regex` 对象,这在 -sm 张量模式下的剖析中主导了解码线程。
- 将这些模式标记为 static const 可确保它们仅编译一次,在不改变行为的情况下提高效率。
- macOS Apple Silicon (arm64) 构建版本可用,但 KleidiAI 支持已禁用。
- 提供了适用于 Ubuntu x64 和 arm64 (CPU)、s390x (CPU)、Vulkan、ROCm 7.2、OpenVINO 和 SYCL FP32/FP16 的 Linux 二进制文件。
- 包含了 Android arm64 (CPU) 构建版本。
- Windows 发行版涵盖 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP。
- openEuler 支持部分禁用,x86 和 aarch64 构建版本针对特定硬件可用。
此更新在多个平台和加速器上提供了优化的二进制文件,解决了张量分割中的性能瓶颈。