O artigo introduz fluxos de ponto fixo, uma classe bidimensional de modelos de linguagem baseados em fluxo autocondicionados que aproveitam o autocondicionamento para resolver uma iteração de ponto fixo que melhora o desempenho do desnificador. Os autores demonstram que esses fluxos definem mapas de fluxo válidos e podem ser destilados de modelos autocondicionados usando destilação de ponto fixo e destilação de mapa de fluxo.
- Fluxos de ponto fixo representam uma classe onde a primeira dimensão é o processo de fluxo e a segunda é a iteração de ponto fixo.
- A destilação comprime tanto as iterações de ponto fixo quanto o processo de fluxo.
- O modelo resultante, FMLM*, supera os modelos autocondicionados e de poucos passos mais avançados no OpenWebText.
Esta abordagem fornece uma compreensão teórica do autocondicionamento em modelos de linguagem baseados em fluxo contínuo e permite a geração eficaz de texto com poucos passos.