研究人员证明，离散扩散语言模型可以通过在少量去噪步骤中并行优化整个转录文本来转录语音，而不是使用自回归解码器。

  • 该方法为 DiffusionGemma（一个通过均匀随机标记离散扩散生成文本的26B混合专家模型）使用了音频原生接口。
  • 冻结的 Whisper 编码器向轻量级投影器提供声学特征，低秩适配器允许冻结的主干网络关注新模态。
  • 仅训练约42M参数（主干网络的0.16%），通过冻结的输出头使用连接主义时间分类损失来锚定音频。
  • 该模型在 LibriSpeech test-clean 上达到6.6%的词错误率，并且无论语句长度如何，大约只需八个并行步骤即可完成转录。

生成的系统使用在一个六种语言上训练的单一适配器，此处针对英语、印地语和普通话进行评估，为顺序语音识别提供了一种并行替代方案。