研究者らは、自己回帰型ASRシステムにおけるタイムスタンプのドリフト問題、すなわち長時間の無音区間で生成されたタイムスタンプが音声から乖離する事象に対処した。彼らはREDDITを提案した。これは、ターゲット以外の動作に対する壊滅的忘却を防ぎながら、これらのタイムスタンプを補正する軽量な2段階のポストトレーニングフレームワークである。

  • この手法は、モデル自身のデコーダコンテキスト下でタイムスタンプターゲットを編集しつつ、非タイムスタンプトークンについては凍結された基本分布に一致させるリプレイベースの分布編集アプローチを使用する。
  • 補正教師信号は、VADトリミングされた音声区間と挿入された無音ギャップ、既知の結合オフセットを組み合わせて構築されるため、人間の文字起こしや注釈を必要としない。
  • Whisper-tinyにおいて、ターゲット補正音声わずか34.9時間とモデルパラメータの1.6%のみを更新するだけで、このフレームワークはロングギャップmIoUを38.7%から95.0%に引き上げた。
  • 混合ギャップにおけるドメイン外AASを2752 msから223 msに削減しつつ、CV-en MERを41.3%のまま維持し、524.2%のMERをもたらした通常のSFTデコーダチューニングを大幅に上回った。

このアプローチにより、フレームレベルアライナーや推論時の後処理なしで正確なタイムスタンプ付き文字起こしが可能となり、ドリフトを効果的に補正しつつ一般的なASRパフォーマンスを維持する。