Pesquisadores demonstram que um modelo de linguagem de difusão discreta pode transcrever fala refinando toda a transcrição em paralelo ao longo de um pequeno número de etapas de denoising, em vez de usar decodificadores autoregressivos.
- A abordagem usa uma interface nativa para áudio no DiffusionGemma, um modelo mixture-of-experts de 26B que gera texto por meio de difusão discreta uniforme e aleatória de tokens.
- Um codificador Whisper congelado fornece características acústicas a um projetor leve, com adaptadores de baixo posto permitindo que o backbone congelado atenda à nova modalidade.
- Apenas cerca de 42M parâmetros são treinados (0,16 por cento do backbone), usando uma perda de classificação temporal conexista através da cabeça de saída congelada para ancorar o áudio.
- O modelo alcança uma taxa de erro de palavras de 6,6 por cento no LibriSpeech test-clean e transcreve em aproximadamente oito etapas paralelas independentemente do comprimento do enunciado.
O sistema resultante usa um único adaptador treinado em seis idiomas, avaliado aqui em inglês, hindi e mandarim, oferecendo uma alternativa paralela ao reconhecimento de fala sequencial.