В статье представлены неподвиточные потоки, двухмерный класс языковых моделей на основе потока с самонастройкой, которые используют самонастройку для решения задачи итерации неподвижной точки, улучшающей производительность денуайзера. Авторы демонстрируют, что эти потоки определяют допустимые карты потока и могут быть дистиллированы из моделей с самонастройкой с помощью дистилляции неподвичной точки и дистилляции карты потока.
- Неподвиточные потоки представляют класс, где первое измерение — это процесс потока, а второе — итерация неподвижной точки.
- Дистилляция сжимает как итерации неподвижной точки, так и процесс потока.
- Полученная модель FMLM* превосходит современные модели с самонастройкой и модели с малым числом шагов на OpenWebText.
Этот подход обеспечивает теоретическое понимание самонастройки в непрерывных языковых моделях на основе потока и позволяет эффективно генерировать текст за малое число шагов.