研究者は、自己回帰デコーダーを使用するのではなく、少数のノイズ除去ステップで全文書を並列に精製することで、離散拡散言語モデルが音声を文字起こしできることを実証しました。

  • このアプローチは、一様かつランダムなトークンの離散拡散によってテキストを生成する26BパラメータのMixture-of-ExpertsモデルであるDiffusionGemma向けのオーディオネイティブインターフェースを使用します。
  • 凍結されたWhisperエンコーダーが音響特徴量を軽量なプロジェクターに供給し、低ランクアダプターにより凍結されたバックボーンが新しいモダリティに注意を向けることができます。
  • 約42Mのパラメータのみがトレーニングされ（バックボーンの0.16パーセント）、オーディオを接地するために凍結された出力ヘッドを通じて接続時間分類損失が使用されます。
  • このモデルはLibriSpeech test-cleanで6.6パーセントの単語誤り率を達成し、発話の長さに関係なく約8つの並列ステップで文字起こしを行います。

結果として得られたシステムは、6つの言語でトレーニングされた単一アダプターを使用しており、ここでは英語、ヒンディー語、中国語で評価されており、逐次音声認識に対する並列の代替手段を提供します。