Исследователи представляют реквенциальное кодирование — метод, который обходит ограничения параметрического сжатия за счёт кодирования траектории обучения через модель-учитель, выбирающую выборки из распределения модели-ученика. Этот подход фиксирует только биты, в которых учитель и ученик расходятся, что приводит к длине кода, не зависящей от количества параметров и энтропии данных.

  • Метод часто генерирует коды на порядки короче, чем прекуэнциальное кодирование, а преимущества возрастают по мере роста масштаба.
  • Более крупные модели и ансамбли сжимаются до меньшего размера, несмотря на большее количество параметров при фиксированном уровне потерь.
  • Внедрённое в оценку PAC-Bayes, реквенциальное кодирование даёт наилучшие гарантии обобщения для LLM с миллиардами параметров.
  • Техника отделяет обучаемую информацию от случайного контента, выявляя, что текст с низкой энтропией содержит больше структуры, чем данные изображений с высокой энтропией.

Этот метод сжатия обеспечивает более тесные границы обобщения в режиме оптимальных вычислений и предсказывает постепенное переобучение при многоэпохальном обучении.