一项新研究引入了一种方法，用于估计模型对特定数据点的了解程度，正式地将非预期记忆与泛化分开。作者测量了 GPT 风格模型的容量约为每参数 3.6 位，并观察到模型在填满此容量之前会进行记忆，从而在开始泛化时触发“grokking”。

  • 非预期记忆被定义为关于特定数据集的信息，而泛化则是关于真实数据生成过程的信息。
  • 总记忆量提供了模型容量的估计值，对于 GPT 风格的模型，该值约为每参数 3.6 位。
  • 研究人员在大小递增的数据集上训练了数百个参数量从 500K 到 1.5B 的 Transformer 语言模型。
  • 该研究得出了将模型容量和数据大小与成员推断联系起来的缩放定律。

这项工作解决了先前研究中难以将记忆与泛化分离的困难，为理解模型容量和训练动态提供了更清晰的框架。