Los autores presentan los Modelos de Flujo de Lenguaje Enmascarado (MLFMs), que combinan la difusión enmascarada con flujos continuos para permitir un razonamiento eficiente y multi-paso en la generación de lenguaje. Este enfoque cierra la brecha entre la eficiencia de la generación paralela y el rendimiento en tareas complejas al permitir que los modelos preentrenados se adapten a MLFMs.
- Los MLFMs utilizan un interpolante estocástico continuo para conectar secuencias parcialmente enmascaradas y limpias, permitiendo la generación condicional mediante flujos continuos.
- El marco permite convertir Modelos de Difusión Enmascarados (MDMs) preentrenados en MLFMs a través de una adaptación simple y ligera.
- Se propone un muestreador novel que alterna el denoising continuo con el desenmascaramiento discreto de tokens confiables para apoyar el razonamiento multi-paso.
- Las evaluaciones en GSM8K y MT-Bench demuestran que los modelos de lenguaje basados en flujos ahora pueden escalar para resolver tareas de razonamiento downstream y seguimiento de instrucciones.
Este trabajo aborda la limitación de los Modelos de Lenguaje de Flujo al decodificar cada token, demostrando por primera vez que los modelos basados en flujos son viables para aplicaciones complejas de razonamiento y seguimiento de instrucciones.