Modèles de langage par carte d'écoulement auto-conditionnés via des écoulements à point fixe

L'article introduit les écoulements à point fixe, une classe bidimensionnelle de modèles de langage basés sur l'écoulement et auto-conditionnés qui exploitent l'auto-conditionnement pour résoudre une itération de point fixe amorçant les performances du débruiteur. Les auteurs montrent que ces écoulements définissent des cartes d'écoulement valides et peuvent être distillés à partir de modèles auto-conditionnés en utilisant la distillation par point fixe et la distillation de carte d'écoulement.

• Les écoulements à point fixe représentent une classe où la première dimension est le processus d'écoulement et la seconde est l'itération de point fixe.
• La distillation compresse à la fois les itérations de point fixe et le processus d'écoulement.
• Le modèle résultant, FMLM*, surpasse les modèles auto-conditionnés et few-step de pointe sur OpenWebText.

Cette approche fournit une compréhension théorique de l'auto-conditionnement dans les modèles de langage basés sur l'écoulement continu et permet une génération de texte few-step efficace.