新しい研究は、モデルが特定のデータポイントについてどれだけの知識を持っているかを推定する手法を導入し、意図しない暗記と一般化を形式的に分離した。著者らは、GPTスタイルのモデルのパラメータあたりの容量を約3.6ビットと測定し、この容量がいっぱいになるまでモデルが暗記し、一般化を開始すると「grokking」が発生することを観察した。

  • 意図しない暗記は特定のデータセットに関する情報として定義され、一方、一般化は真のデータ生成プロセスに関する情報である。
  • 総暗記量はモデル容量の見積もりを提供し、GPTスタイルのモデルではパラメータあたり約3.6ビットと測定される。
  • 研究者らは、500Kから1.5Bパラメータのトランスフォーマー言語モデル数百体を、増加するサイズのデータセットで訓練した。
  • この研究は、モデル容量とデータサイズをメンバーシップ推論に関連付けるスケーリング法則を生み出した。

この作業は、先行研究における暗記と一般化の分離の難しさに取り組み、モデル容量とトレーニングダイナミクスを理解するためのより明確な枠組みを提供する。