研究者らは、注意機構付きエンコーダ・デコーダや音声LLMなど、ネイティブにアライメントを提供しないモデルを含む、任意の微分可能な自動音声認識(ASR)モデルにおいて、音声内の時間的な単語境界を見つけるための汎用的な勾配ベースの方法を提示した。このアプローチは、教師強制された各トークンの対数確率の入力に対する勾配を計算し、フレームごとの saliency に削減し、動的計画法によって単語境界をデコードする。

  • この手法にはトレーニング、モデルの修正、または追加のアライメントヘッドは不要である。
  • CTC や transducer モデルで使用される粗いエンコーダのフレームグリッドではなく、より細かい入力グリッド上でアライメントを行う。
  • 4つのファミリーに属する16モデルでの評価により、テストされたすべてのモデルで実用的なアライメントが得られることが示された。
  • パフォーマンスは一般的に強力なネイティブアライナーにはやや劣るものの、ストリーミングモデルのようにネイティブなアライメントが弱い領域では優れている。

特定された主な欠点は、トークンごとに1回の逆伝播を実行する計算コストである。