Les chercheurs démontrent qu'un modèle de langage à diffusion discrète peut transcrire la parole en affinant l'intégralité du transcript en parallèle sur un petit nombre d'étapes de débruitage, au lieu d'utiliser des décodeurs autoregressifs.

  • L'approche utilise une interface native audio pour DiffusionGemma, un modèle à mélange d'experts (MoE) de 26 milliards de paramètres générant du texte via une diffusion discrète uniforme et aléatoire de tokens.
  • Un encodeur Whisper figé fournit des caractéristiques acoustiques à un projecteur léger, avec des adaptateurs de faible rang permettant au backbone figé d'attacher son attention sur la nouvelle modalité.
  • Seuls environ 42 millions de paramètres sont entraînés (0,16 pour cent du backbone), en utilisant une perte de classification temporelle connexioniste à travers la tête de sortie figée pour ancrer l'audio.
  • Le modèle atteint un taux d'erreur de mots de 6,6 pour cent sur LibriSpeech test-clean et transcrit en environ huit étapes parallèles indépendamment de la longueur de l'énoncé.

Le système résultant utilise un seul adaptateur entraîné sur six langues, évalué ici sur l'anglais, le hindi et le mandarin, offrant une alternative parallèle à la reconnaissance de la parole séquentielle.