研究者らは、予測分布の軌道を利用してトークンのコミット決定を改善するトレーニング不要のデコーダであるTrajectory-Aware Commit Gating (TACG) を提案した。TACGはトークンIDを基本事後分布に固定し、提案がコミットできるかどうかを判断するためにのみ軌道認識信号を使用し、自信と準備状態の混同を防ぐ。

  • この手法は、過去のロジットの指数移動平均を維持して現在のロジットと対比するTemporal Implicit Logits Guidance (TILG) と、短期間の提案持続性を強制するHistory Gate (HG) を組み合わせている。
  • 上限付きの追加プロモーション予算を使用して、補助ネットワークや追加のフォワードパスを必要とせずに安定性制約付きのコミットルールを作成する。
  • コード (HumanEval, MBPP) と数学 (GSM8K, MATH500) ベンチマークにおける LLaDA、Dream、LLaDA2-Mini での評価により、TACG は通常、デノイジングステップを削減し、フォワードあたりのトークン数を増加させながら、精度を向上または維持することが示された。

このアプローチにより、拡散言語モデルは推論時に追加の計算オーバーヘッドなしで、より安定したデコーディングのために本来的な軌道データを活用できる。