研究人员提出了一种通用的基于梯度的方法，用于在任何可微自动语音识别 (ASR) 模型（包括那些原生不提供对齐的注意力编码器-解码器和语音 LLMs）中找到音频中的时间词边界。该方法计算每个教师强制标记对输入的对数概率的梯度，将其简化为每帧显著性，并通过动态规划解码词边界。

  • 该方法不需要训练、模型修改或额外的对齐头。
  • 它在更细的输入网格上对齐，而不是 CTC 或 transducer 模型使用的较粗编码器帧网格。
  • 对四个家族中的十六个模型的评估表明，它为每个测试过的模型产生了可用的对齐结果。
  • 性能通常略逊于强大的原生对齐器，但在原生对齐较弱（如流式模型）的情况下表现更好。

确定的主要缺点是每标记执行一次反向传播的计算成本。