ggml-org 项目发布了版本 b9878,其中包含对影响草稿模型的过时 tensor-split 参数的修复。此更新解决了 ggml-backend-meta 组件中与 GQA 注意力 specifically 相关的元数据问题。

  • 修复了 GQA 注意力的张量分割元数据。
  • 还原了之前在 ggml-backend-meta 中引入资源 hack 的提交。
  • 提供了适用于 macOS(Apple Silicon 和 Intel)、iOS、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows(CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)以及 openEuler 平台的二进制文件。

此版本在将更新的二进制文件分发到支持的硬件架构的同时,确保了对草稿模型的正确参数处理。