研究人员解决了自回归ASR系统中时间戳漂移的问题，即在长时间非语音段期间生成的时间戳与音频发生偏离。他们提出了REDDIT，这是一种轻量级的两阶段后训练框架，能够纠正这些时间戳，同时防止对非目标行为的灾难性遗忘。

  • 该方法使用基于重放的分量编辑方法，在模型自身解码器上下文中编辑时间戳目标，同时在非时间戳令牌上匹配冻结的基础分布。
  • 校正监督通过结合VAD修剪的语音段、插入的非语音间隙以及已知的连接偏移量来构建，无需人工转录或标注。
  • 在Whisper-tiny上，仅使用34.9小时的针对性校正音频并更新1.6%的模型参数，该框架将长间隙mIoU从38.7%提升至95.0%。
  • 它将混合间隙域外AAS从2752毫秒降低至223毫秒，同时保持CV-en MER为41.3%，显著优于导致MER高达524.2%的普通SFT解码器调优方法。

该方法无需帧级对齐器或推理后处理即可实现准确的时间戳转录，有效纠正漂移的同时保持通用ASR性能。