연구자들은 오디오 내의 시간적 단어 경계를 찾기 위한 일반적인 경사 기반 방법을 제시했으며, 이는 어텐션 기반 인코더-디코더 및 음성 대형 언어 모델(LLM)처럼 본래 정렬을 제공하지 않는 모든 미분 가능한 자동 음성 인식(ASR) 모델에 적용 가능합니다. 이 접근 방식은 각 교사 강요(token-forced) 토큰 로그 확률의 입력에 대한 경사를 계산하고, 이를 프레임별 중요도로 축소하며, 동적 프로그래밍을 통해 단어 경계를 디코딩합니다.
- 이 방법은 학습, 모델 수정 또는 추가 정렬 헤드가 필요하지 않습니다.
- CTC나 트랜스듀서 모델이 사용하는 거친 인코더 프레임 그리드 대신 더 세밀한 입력 그리드에서 정렬합니다.
- 네 가지 계열의 열여섯 개 모델에 대한 평가는 테스트된 모든 모델에서 사용 가능한 정렬 결과를 산출함을 보여줍니다.
- 성능은 일반적으로 강력한 네이티브 정렬기보다 약간 뒤처지지만, 스트리밍 모델처럼 네이티브 정렬이 약한 경우 더 우수합니다.
주요 단점으로 식별된 것은 토큰당 한 번의 역전파를 수행하는 데 따른 계산 비용입니다.