あるユーザーが、Qwenベースのファインチューニングの実験を促進するために、Qwen3.5およびQwen3.6のMiddle/Largeモデル(27Bパラメータ以上)のMTP専用GGUFサブセットを公開しました。

  • これらのファイルは、必要なドラフト重みを提供することで、MTPテンソルを持たないQwenベースのモデルのトークン生成を高速化します。
  • これらは、Ornith-1.0-35Bなどの他の量子化で見つかった問題を解決し、Qwen3.5/3.6 MTPテンソルを既存のGGUFファイル内に埋め込む方法を示しています。
  • サブセットは2つの用途に対応しています:llama.cpp用の個別のドラフトモデルファイルとして、またはMTP関連テンソルの移植のためのグラフトアセットとして使用できます。

これらのリソースは、アクセスしやすくテストしやすいモデルファイルを提供することで、Qwen3.5/3.6ベースのファインチューニングのテストと実験を容易にすることを目指しています。