본 논문은 고정점 흐름을 소개합니다. 이는 자기조건부 흐름 기반 언어 모델의 2차원 클래스로, 자기조건화를 활용하여 디노이저 성능을 부스트랩하는 고정점 반복을 해결합니다. 저자들은 이러한 흐름이 유효한 흐름 맵을 정의하며, 고정점 증류 및 흐름 맵 증류를 통해 자기조건부 모델에서 증류될 수 있음을 보여줍니다.

  • 고정점 흐름은 제1차원이 흐름 과정이고 제2차원이 고정점 반복인 클래스를 나타냅니다.
  • 증류는 고정점 반복과 흐름 과정 모두를 압축합니다.
  • 결과 모델 FMLM* 은 OpenWebText 에서 최신 자기조건부 및few-step 모델보다 우수합니다.

이 접근 방식은 연속 흐름 기반 언어 모델에서의 자기조건화에 대한 이론적 이해를 제공하며 효과적인 few-step 텍스트 생성을 가능하게 합니다.