연구자들은 긴 무음 구간 동안 생성된 타임스탬프가 오디오와 어긋나는 자기회귀 ASR 시스템의 타임스탬프 드리프트 문제를 해결했습니다. 그들은 이러한 타임스탬프를 수정하면서도 비목표 동작에 대한 치명적 망각을 방지하는 경량 2단계 사후 학습 프레임워크인 REDDIT를 제안합니다.

  • 이 방법은 모델의 자체 디코더 컨텍스트 내에서 타임스탬프 타겟을 편집하면서 비타임스탬프 토큰에 대해 고정된 기본 분포와 일치시키는 재생 기반 분포 편집 접근 방식을 사용합니다.
  • VAD로 다듬은 음성 구간과 삽입된 무음 간격, 알려진 연결 오프셋을 결합하여 인간 녹취록이나 주석 없이 보정 감독 신호를 구성합니다.
  • Whisper-tiny에서 목표 보정 오디오 34.9시간만 사용하고 모델 파라미터의 1.6%만 업데이트함으로써 프레임워크는 긴 간격 mIoU를 38.7%에서 95.0%로 높입니다.
  • 혼합 간격 외부 도메인 AAS를 2752 ms에서 223 ms로 줄이면서 CV-en MER을 41.3%로 유지하여, 524.2%의 MER을 초래한 일반 SFT 디코더 튜닝보다 현저히 우수한 성능을 보입니다.

이 접근 방식은 프레임 레벨 정렬기나 추론 시간 후처리를 사용하지 않고도 정확한 타임스탬프付き 전사(transcription)를 가능하게 하며, 드리프트를 효과적으로 수정하면서 일반적인 ASR 성능을 유지합니다.