Исследователи демонстрируют, что дискретная диффузионная языковая модель может транскрибировать речь, уточняя всю транскрипцию параллельно за несколько шагов денойзинга, вместо использования авторегрессионных декодеров.
- Подход использует аудио-нативный интерфейс для DiffusionGemma, модели с 26B смесью экспертов (mixture-of-experts), генерирующей текст через равномерную дискретную диффузию случайных токенов.
- Замороженный энкодер Whisper поставляет акустические признаки в легкий проектор, а адаптеры низкого ранга позволяют замороженному основному блоку обращать внимание на новую модальность.
- Обучается только около 42M параметров (0,16 процента от основного блока), используется функция потерь классификации временной связи через замороженную выходную голову для привязки к аудио.
- Модель достигает ошибки слов в 6,6 процента на тестовом наборе LibriSpeech test-clean и транскрибирует примерно за восемь параллельных шагов независимо от длины высказывания.
Получившаяся система использует один адаптер, обученный на шести языках, оценивается здесь на английском, хинди и мандаринском, предлагая параллельную альтернативу последовательному распознаванию речи.