研究者らは、requential codingという手法を導入した。これはパラメータベースの圧縮の制限を回避し、教師モデルが生徒の分布からサンプルを選択することで学習軌道をエンコードする方法である。このアプローチは、教師と生徒の不一致が生じたビットのみを記録するため、コード長はパラメータ数やデータエントロピーに依存しない。

  • この手法は、prequential codingよりも桁違いに短いコードを生成することが多く、スケールが大きくなるにつれてその利点は拡大する。
  • 損失を固定した場合、より多くのパラメータを持つ大規模モデルやアンサンブルでも、より小さなサイズに圧縮できる。
  • PAC-Bayes boundに適用すると、requential codeは数十億パラメータのLLMに対して最先端の一般化保証をもたらす。
  • この手法は学習可能な情報とランダムなコンテンツを分離し、低エントロピーのテキストが高エントロピーの画像データよりも多くの構造を持っていることを明らかにした。

この圧縮手法は、計算資源最適化領域においてより狭い一般化境界を提供し、マルチエポック学習中の段階的な過学習を予測する。