llama.cpp 项目发布了版本 b11090,其中包括对 sm_70 tile 编译错误的修复。该更新将 5 参数 load_ldmatrix 函数的 tile 形状泛化,以解决与 Volta 架构的不匹配问题。

  • 通过将 load_ldmatrix tile 形状从 <16,8> 泛化为 <I,J> 来修复 sm_70 上的编译错误。
  • 提供 macOS(Apple Silicon 和 Intel)、iOS、Linux(CPU、CUDA、ROCm、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenCL、OpenVINO、SYCL、ROCm)、Android 和 openEuler 的二进制文件。

此版本在保持对广泛操作系统和硬件加速器支持的同时,确保与较旧的 GPU 架构兼容。