本記事では、補助モデルを使用してトークンをドラフトすることで自己回帰型LLMのサンプリングを加速する、トレーニング不要の緩和された推測的デコーディング手法の実践的な調査を紹介します。著者は既存のアプローチを共有フレームワーク内で統一し、現代の設定でベンチマークを実行して、実践家向けの経験的な知見を引き出しています。

  • 標準的な推測的デコーディングの厳格なロスレス保証を緩和することで、さらなる高速化、制御可能な能力と速度のトレードオフ、あるいは能力の向上をもたらすことができる。
  • 緩和によって必要となる能力の評価は、ロスレス推測的デコーディングよりも重大である。
  • 多くの緩和アプローチは、優れた言語モデルであるドラフターに依存しており、軽量な専用マルチトークン予測ドラフターには適していない。

これらの知見は、緩和がパフォーマンスの利点をもたらす一方で、重大な評価要件とドラフトモデルの選択に対する制約を導入することを浮き彫りにしています。