ggml-orgプロジェクトはバージョンb9878をリリースしました。これには、ドラフトモデルに影響を与える古いtensor-splitパラメータの修正が含まれています。このアップデートは、ggml-backend-metaコンポーネント内のGQAアテンションに関連するメタデータの課題に対処します。

  • GQAアテンションのtensor splitメタデータを修正。
  • ggml-backend-metaにアセットハックを導入した以前のコミットを元に戻しました。
  • macOS (Apple SiliconおよびIntel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEulerプラットフォームのバイナリを提供しました。

このリリースにより、ドラフトモデルのパラメータ処理が正しく行われ、サポートされているハードウェアアーキテクチャ全体に更新されたバイナリが配布されます。