연구자들은 자기회귀 디코더를 사용하는 대신, 소수의 노이즈 제거 단계에서 전체 음성을 병렬로 정제함으로써 이산 확산 언어 모델이 음성을 전사할 수 있음을 입증했습니다.
- 이 접근 방식은 균일하고 무작위 토큰의 이산 확산을 통해 텍스트를 생성하는 26B 파라미터의 전문가 혼합(Mixture-of-Experts) 모델인 DiffusionGemma를 위한 오디오 네이티브 인터페이스를 사용합니다.
- 동결된 Whisper 인코더는 경량 프로젝터에 음향 특징을 공급하며, 저랭크 어댑터를 통해 동결된 백본이 새로운 모달리티에 주의를 기울일 수 있습니다.
- 약 42M개의 파라미터만 학습되며(백본의 0.16퍼센트), 오디오를 grounding하기 위해 동결된 출력 헤드를 통해 연결 시간 분류 손실이 사용됩니다.
- 이 모델은 LibriSpeech test-clean에서 6.6퍼센트의 단어 오류율을 달성하며, 발화 길이에 관계없이 약 8개의 병렬 단계로 전사합니다.
결과적으로 생성된 시스템은 6개 언어로 학습된 단일 어댑터를 사용하며, 여기서는 영어, 힌디어, 중국어에 대해 평가되었으며 순차적 음성 인식에 대한 병렬 대안을 제공합니다.