Peneliti menunjukkan bahwa model bahasa difusi diskrit dapat mentranskripsi ucapan dengan menyempurnakan seluruh transkrip secara paralel selama beberapa langkah denoising, alih-alih menggunakan decoder autoregresif.
- Pendekatan ini menggunakan antarmuka asli-audio untuk DiffusionGemma, sebuah model mixture-of-experts 26B yang menghasilkan teks melalui difusi diskrit token seragam dan acak.
- Encoder Whisper beku menyediakan fitur akustik ke projector ringan, dengan adapter rank-rendah yang memungkinkan backbone beku memperhatikan modalitas baru.
- Hanya sekitar 42M parameter yang dilatih (0,16 persen dari backbone), menggunakan loss klasifikasi temporal koneksionis melalui kepala output beku untuk grounding audio.
- Model ini mencapai word error rate 6,6 persen pada LibriSpeech test-clean dan mentranskripsi dalam sekitar delapan langkah paralel terlepas dari panjang ucapan.
Sistem yang dihasilkan menggunakan satu adapter yang dilatih pada enam bahasa, dievaluasi di sini pada bahasa Inggris, Hindi, dan Mandarin, menawarkan alternatif paralel untuk pengenalan ucapan sekuensial.