Los investigadores demuestran que un modelo de lenguaje de difusión discreta puede transcribir voz refinando toda la transcripción en paralelo durante un pequeño número de pasos de denoising, en lugar de usar decodificadores autoregresivos.
- El enfoque utiliza una interfaz nativa para audio en DiffusionGemma, un modelo de mezcla de expertos de 26B que genera texto mediante difusión discreta uniforme y aleatoria de tokens.
- Un codificador Whisper congelado proporciona características acústicas a un proyector ligero, con adaptadores de bajo rango que permiten que el núcleo congelado atienda a la nueva modalidad.
- Solo se entrenan aproximadamente 42M parámetros (0,16 por ciento del núcleo), utilizando una pérdida de clasificación temporal conexista a través de la cabeza de salida congelada para anclar el audio.
- El modelo logra una tasa de error de palabras del 6,6 por ciento en LibriSpeech test-clean y transcribe en aproximadamente ocho pasos paralelos independientemente de la longitud del enunciado.
El sistema resultante utiliza un único adaptador entrenado en seis idiomas, evaluado aquí en inglés, hindi y mandarín, ofreciendo una alternativa paralela al reconocimiento de voz secuencial.