本論文は、固定点フローを提案する。これは自己条件付きフローベースの言語モデルの2次元クラスであり、自己条件付けを活用して、ノイズ除去器の性能をブートストラップする固定点反復を解決する。著者らは、これらのフローが有効なフローマップを定義し、固定点蒸留およびフローマップ蒸留を用いて自己条件付きモデルから蒸留可能であることを示す。

  • 固定点フローは、第1次元がフロープロセスで、第2次元が固定点反復であるクラスを表す。
  • 蒸留は固定点反復とフロープロセスの両方を圧縮する。
  • 得られたモデル FMLM* は、OpenWebText において最先端の自己条件付きモデルおよび数ステップモデルを上回る。

このアプローチは、連続フローベース言語モデルにおける自己条件付けの理論的理解を提供し、効果的な数ステップテキスト生成を可能にする。