実用的な調査により、トレーニング不要の緩和された推測的デコーディングが調べられました。これは、より高速な補助モデルを使用してトークンをドラフトし、それらを並列で検証することで、自己回帰型LLMのサンプリングを加速します。この研究は、既存のアプローチを共有フレームワーク内で統一し、現代的な設定でベンチマークを実行して、実践者向けの経験的な知見を引き出しました。
- 厳格な損失なし保証の緩和により、さらなる高速化、制御可能な能力と速度のトレードオフ、あるいは能力の向上が得られる場合があります。
- 標準的な損失なし推測的デコーディングとは異なり、緩和された手法では能力の評価が必要です。
- 多くの緩和されたアプローチは、優れた言語モデルであるドラフターに依存しているため、軽量な専用マルチトークン予測ドラフターには適していません。