あるRedditユーザーは、マルチトークン予測（MTP）が自己回帰的生成のレイテンシを発生させることなく、生成されたトークンをどのように効率的に検証するかを尋ねています。投稿者は、モデルの最終層がその時点で利用可能な情報だけでN個の予測トークンの正しさをどのように確認できるのかについて混乱しています。

  • ユーザーは、MTPヘッドが正しい「青」ではなく「緑」を予測するシナリオを説明し、このエラーがどのように迅速に検出されるかを疑問視しています。
  • 標準的なprefillはキャッシュを埋めますが、各トークンをモデルの全層に通さずに検証がどのように行われるかは不明です。
  • 引用された説明では、因果的注意マスクを使用してトークンを1つずつprefillし、N個のトークンそれぞれに対して出力埋め込みを検証することが示唆されています。
  • ユーザーは、以前の層からの十分なコンテキストを持たないデコーダーのみLLMが、MTPヘッドが行った作業をどのように判断できるのかと反論しています。

この投稿は、デコーダーのみアーキテクチャにおけるMTP検証の技術的実装に関する継続的な混乱を浮き彫りにしています。