Para peneliti mengatasi masalah drift waktu pada sistem ASR autoregresif, di mana waktu yang dihasilkan menyimpang dari audio selama rentang non-pidato yang panjang. Mereka mengusulkan REDDIT, sebuah kerangka kerja pasca-pelatihan dua tahap yang ringan yang memperbaiki waktu tersebut sambil mencegah lupa katastrofik terhadap perilaku non-target.

  • Metode ini menggunakan pendekatan penyuntingan distribusi berbasis replays yang menyunting target waktu dalam konteks decoder model sendiri sambil mencocokkan distribusi dasar beku pada token non-waktu.
  • Pengawasan koreksi dibangun tanpa transkrip atau anotasi manusia dengan menggabungkan rentang pidato yang dipangkas oleh VAD dengan celah non-pidato yang disisipkan dan offset penggabungan yang diketahui.
  • Pada Whisper-tiny, menggunakan hanya 34.9 jam audio koreksi target dan memperbarui hanya 1.6% parameter model, kerangka kerja ini meningkatkan mIoU celah panjang dari 38.7% menjadi 95.0%.
  • Ini mengurangi AAS out-of-domain celah campuran dari 2752 ms menjadi 223 ms sambil mempertahankan CV-en MER pada 41.3%, secara signifikan mengungguli penyetelan decoder SFT biasa yang menghasilkan MER sebesar 524.2%.

Pendekatan ini memungkinkan transkripsi berwaktu akurat tanpa aligner tingkat frame atau pasca-pemrosesan saat inferensi, secara efektif memperbaiki drift sambil mempertahankan kinerja ASR umum.