ggml-org/llama.cppリポジトリに提出されたプルリクエストは、TencentのHy3モデル、具体的にはhy_v3バリアントのサポートを導入します。このアップデートにより、モデルのマルチトークン予測ヘッドをドラフトMTP推論ターゲットとして使用できるようになります。

  • TencentのHy3 (hy_v3 / HYV3ForCausalLM) のサポートを追加。299B MoEモデルで、80層にMTP層1つを含む。
  • llama.cpp内でドラフトMTP推論ターゲットとして機能するマルチトークン予測ヘッドを実装。