llama.cppプロジェクトは、GGUF形式でhy_v3と指定されているTencent Hunyuan 3 (HYV3ForCausalLM) モデルアーキテクチャのサポートを追加しました。このアップデートにより、ユーザーはこの特定のMoEデコーダスタックをライブラリ内で実行できるようになります。

  • ヘッドごとのQ/K RMSNormとエクスパート選択バイアスを持つシグモイドルーターを含む、完全なhy_v3アーキテクチャのサポートを追加。
  • 常にアクティブなゲートなし共有エクスパートと、first_k_dense_replaceによる主要な密集ブロックを実装。
  • charlie12345'sフォークからポートされ、既存のhy_v3 GGUFとの互換性のために現在のメインラインAPIに適応。

この変更により、コミュニティはCUDA、ROCm、Vulkanなどの多様なハードウェアバックエンド上で、macOS、Linux、Windows、Androidを含むさまざまなプラットフォームでTencent Hunyuan 3モデルを利用できるようになります。