Les chercheurs traitent le problème de la dérive des horodatages dans les systèmes ASR autoregressifs, où les horodatages générés divergent de l'audio pendant les longues périodes sans parole. Ils proposent REDDIT, un cadre léger de post-entraînement en deux étapes qui corrige ces horodatages tout en empêchant l'oubli catastrophique des comportements non ciblés.
- La méthode utilise une approche d'édition de distribution par rejeu qui modifie les cibles d'horodatage dans le contexte du décodeur propre au modèle tout en correspondant à la distribution de base figée sur les tokens non-horodatés.
- La supervision de correction est construite sans transcriptions ou annotations humaines en combinant des segments de parole tronqués par VAD avec des espaces insérés sans parole et des décalages de concaténation connus.
- Sur Whisper-tiny, en utilisant seulement 34,9 heures d'audio de correction ciblée et en mettant à jour seulement 1,6 % des paramètres du modèle, le cadre élève le mIoU des longs espaces de 38,7 % à 95,0 %.
- Il réduit l'AAS hors domaine des espaces mixtes de 2752 ms à 223 ms tout en préservant le MER CV à 41,3 %, surpassant significativement le réglage ordinaire du décodeur par SFT qui a entraîné un MER de 524,2 %.
Cette approche permet une transcription horodatée précise sans aligneurs au niveau des trames ni post-traitement au moment de l'inférence, corrigeant efficacement la dérive tout en maintenant les performances générales ASR.