Los investigadores abordan el problema de la deriva de marcas de tiempo en sistemas de ASR autoregresivos, donde las marcas de tiempo generadas divergen del audio durante largos periodos sin habla. Proponen REDDIT, un marco ligero de dos etapas post-entrenamiento que corrige estas marcas de tiempo mientras previene el olvido catastrófico de comportamientos no objetivo.
- El método utiliza un enfoque de edición de distribución basado en repetición que edita los objetivos de las marcas de tiempo bajo el contexto del propio decodificador del modelo, mientras coincide con la distribución base congelada en tokens no relacionados con marcas de tiempo.
- La supervisión de corrección se construye sin transcripciones ni anotaciones humanas, combinando segmentos de audio recortados por VAD con intervalos de silencio insertados y desplazamientos de concatenación conocidos.
- En Whisper-tiny, utilizando solo 34.9 horas de audio de corrección objetivo y actualizando solo el 1.6% de los parámetros del modelo, el marco eleva la mIoU de huecos largos desde 38.7% hasta 95.0%.
- Reduce la AAS fuera de dominio para huecos mixtos de 2752 ms a 223 ms mientras preserva el MER en CV-en en 41.3%, superando significativamente al ajuste ordinario del decodificador SFT que resultó en un MER del 524.2%.
Este enfoque permite una transcripción con marcas de tiempo precisa sin alineadores a nivel de fotograma ni post-procesamiento en tiempo de inferencia, corrigiendo efectivamente la deriva mientras mantiene el rendimiento general de ASR.