llama.cpp 项目发布了 b10025 版本,其中包括一项更改,以放宽量化拼接操作的张量连续性要求。

  • 核心更新修改了 CUDA 后端和底层 ggml 库,以允许在量化拼接期间使用非连续张量。
  • 已添加测试用例,以验证非连续量化拼接输入的功能。
  • 提供了适用于 macOS(Apple Silicon 和 Intel)、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows(CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)和 openEuler 的二进制文件。

此版本更新了构建环境,并修复了量化操作的具体张量处理约束。