Modelos de lenguaje basados en mapas de flujo autocondicionados mediante flujos de punto fijo

El artículo introduce los flujos de punto fijo, una clase bidimensional de modelos de lenguaje basados en flujo autocondicionados que aprovechan la autocondicionamiento para resolver una iteración de punto fijo que mejora el rendimiento del desdenificador. Los autores demuestran que estos flujos definen mapas de flujo válidos y pueden ser destilados desde modelos autocondicionados utilizando destilación de punto fijo y destilación de mapa de flujo.

• Los flujos de punto fijo representan una clase donde la primera dimensión es el proceso de flujo y la segunda es la iteración de punto fijo.
• La destilación comprime tanto las iteraciones de punto fijo como el proceso de flujo.
• El modelo resultante, FMLM*, supera a los modelos autocondicionados y de pocos pasos más avanzados en OpenWebText.

Este enfoque proporciona una comprensión teórica del autocondicionamiento en modelos de lenguaje basados en flujo continuo y permite la generación efectiva de texto con pocos pasos.