llama.cppプロジェクトはバージョンb10844をリリースし、VulkanバックエンドでDeepSeek-V4ハイパーコネクション融合演算（DSV4_HC_COMB/PRE/POST）のサポートを導入しました。この更新により、これらの特定の最適化に関してVulkanがCUDAおよびMetalと同等の機能を持つようになりました。

  • 新しいdsv4_hc_comb演算は、レジスタ内で完全な20イテレーションのSinkhornアルゴリズムを実行し、サイトごとに約137回の順序付けられたノード実行を単一のディスパッチに置き換えます。
  • dsv4_hc_preおよびdsv4_hc_postは、トークンごとの係数に対して共有メモリを使用して要素ごとのストリーム結合とファンアウトを処理します。
  • 非融合のSinkhorn結合チェーンは、以前、gfx1151ハードウェア上でトークンあたり約16k回のディスパッチにわたってデコード演算時間の約32%を占めていました。
  • GGML_VK_DISABLE_DSV4_HC環境変数および個別の_COMB、_PRE、_POSTフラグにより、ユーザーはこれらの演算を独立して無効にできます。

この変更により、DeepSeek-V4モデルを実行するVulkanユーザーにとって、非融合プリミティブチェーンによって引き起こされていたパフォーマンスのボトルネックが解消されました。