llama.cpp プロジェクトはバージョン b10830 をリリースし、モデル変換用の新しいコマンドラインオプションを導入しました。このアップデートでは、Hugging Face 形式から GGUF への変換中に Query、Key、および Value 行列を単一の QKV 構造に融合する `--fuse-qkv` フラグが追加されました。

  • リリースには、macOS（Apple Silicon および Intel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL バックエンド付きの Ubuntu）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、OpenVINO、SYCL）、openEuler 用のバイナリが含まれています。
  • iOS サポートは XCFramework を介して提供され、macOS Apple Silicon 上の KleidiAI サポートは現在無効になっています。

このアップデートは、融合アテンションメカニズムから利益を得るモデルに対して、より効率的な変換パスをユーザーに提供します。