Исследователи решают проблему дрейфа временных меток в авторегрессионных системах ASR, где генерируемые временные метки расходятся с аудио во время длительных пауз без речи. Они предлагают REDDIT — легковесную двухэтапную фреймворк постобучения, который корректирует эти временные метки, предотвращая катастрофическое забывание нетаргетных поведений.

  • Метод использует подход редактирования распределения на основе воспроизведения, который изменяет таргеты временных меток в контексте собственного декодера модели, сохраняя замороженное базовое распределение для токенов, не являющихся временными метками.
  • Контрольная надзорная информация формируется без участия транскриптов или аннотаций человека путем объединения речевых сегментов, обрезанных с помощью VAD, с вставленными паузами без речи и известными смещениями склейки.
  • На модели Whisper-tiny, используя всего 34.9 часа целевого корректирующего аудио и обновляя лишь 1.6% параметров модели, фреймворк повышает mIoU для длинных пауз с 38.7% до 95.0%.
  • Он снижает смешанную междоменную AAS для пауз с 2752 мс до 223 мс, сохраняя CV-en MER на уровне 41.3%, что значительно превосходит обычное тонкое подстройка декодера SFT, приведшее к MER в 524.2%.

Этот подход обеспечивает точную транскрипцию с временными метками без выравнивания на уровне кадров или постобработки во время вывода, эффективно корректируя дрейф при сохранении общей производительности ASR.