Pesquisadores abordam o problema da derivação de carimbos de tempo em sistemas de ASR autoregressivos, onde os carimbos de tempo gerados divergem do áudio durante longos intervalos sem fala. Eles propõem o REDDIT, um framework leve de pós-treinamento em duas etapas que corrige esses carimbos de tempo enquanto impede o esquecimento catastrófico de comportamentos não-alvo.
- O método utiliza uma abordagem de edição de distribuição baseada em replay que edita os alvos dos carimbos de tempo sob o contexto do próprio decodificador do modelo, ao mesmo tempo em que mantém a distribuição base congelada nos tokens não relacionados a carimbos de tempo.
- A supervisão de correção é construída sem transcrições ou anotações humanas, combinando trechos de fala recortados por VAD com intervalos de não-fala inseridos e deslocamentos de concatenação conhecidos.
- No Whisper-tiny, usando apenas 34,9 horas de áudio de correção direcionada e atualizando apenas 1,6% dos parâmetros do modelo, o framework eleva a mIoU em longos intervalos de 38,7% para 95,0%.
- Ele reduz o AAS fora do domínio em misturas de intervalos de 2752 ms para 223 ms, enquanto preserva o MER CV-en em 41,3%, superando significativamente o ajuste comum do decodificador SFT, que resultou em um MER de 524,2%.
Esta abordagem permite transcrição com carimbos de tempo precisos sem alinhadores em nível de quadro ou pós-processamento no momento da inferência, corrigindo efetivamente a derivação enquanto mantém o desempenho geral do ASR.