Tencentは、自己回帰型マルチトークン予測（MTP）とHy3モデル向けにブロック並列DFlashファミリーのドラフターをサポートするtorchネイティブのトレーニングフレームワークであるAngelSpecをオープンソース化した。本システムは、ワークロードの異種性を主要な設計制約として扱い、特定のユースケースに基づいて構造、トレーニングデータ、検証深度を専門化することを可能にする。

  • AngelSpecは、トレーニング中に物理ブロックが自己回帰的に展開される共有パラメータ・マルチデプススキームを用いることで、MTPにおけるトレーニングと推論のミスマッチに対処する。
  • このフレームワークは、ターゲットモデルのロールアウトと固定されたバックボーンパラメータを採用し、検証分布を変更せずにドラフターがサービング時のトークン選択を近似することを保証する。
  • DFlyブロック拡散アーキテクチャは、ハイブリッドターゲット条件付けと直前状態条件付き自己回帰ヘッドを導入し、コードおよび数学ドメインにおける受容率を向上させる。
  • Qwen3-8Bにおいて、DFlyは平均受容トークン長5.41を達成し、DSpark（5.32）、DFlash（4.57）、MTP（3.24）を上回る。
  • Hy3-A21Bにおいて、DFlyは平均受容トークン長4.79に達し、DFlashに対して29.8%、MTPに対して59.7%の相対的な向上を示す。
  • このフレームワークは最大128kトークンのロングコンテキストトレーニングをサポートし、Muonなどのターゲット、目的関数、オプティマイザのためのプラグインインターフェースを含む。

AngelSpecは6つのドラフターアーキテクチャのトレーニング向けの統一パイプラインを提供し、多様なベンチマークで高い受容率を維持しながら、ライブトラフィックのスループットにおいて大幅な高速化を実現する。