llama.cpp 项目发布了版本 b9915,引入了对 CPU f16-to-f16 GGML_OP_SET_ROWS 操作的支持。此更新还包括对该操作的缺失类型检查,并将 f32 和 f16 计算前向函数合并为单一实现。

  • ggml 添加了 CPU f16->f16 GGML_OP_SET_ROWS 支持并增加了类型检查
  • ggml_compute_forward_set_rows_f32() 和 ggml_compute_forward_set_rows_f16() 合并为 ggml_compute_forward_set_rows_impl()
  • 断言已替换为 GGML_ASSERT()
  • 提供 macOS Apple Silicon (arm64)、macOS Intel (x64) 和 iOS XCFramework 二进制文件
  • Linux 构建包括 Ubuntu x64、arm64、s390x CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL FP32/FP16 变体
  • Android arm64 (CPU) 二进制文件可用
  • Windows 构建涵盖 x64 和 arm64 CPU、OpenCL Adreno、CUDA 12.4 和 13.3、Vulkan、OpenVINO、SYCL 和 HIP
  • openEuler 支持 x86 和 aarch64,并为 910b 芯片提供 ACL Graph

此版本为需要新 set rows 功能的用户提供了跨多个平台和硬件加速器的更新二进制文件。