研究人员引入了序列编码（requential coding），这是一种通过教师模型从学生分布中选择样本来编码训练轨迹的方法，从而绕过基于参数的压缩限制。该方法仅记录师生意见不一致的比特，使得代码长度独立于参数数量和数据的熵。

  • 该方法通常生成的代码比预序编码（prequential coding）短几个数量级，且随着规模扩大，优势愈发明显。
  • 在保持损失固定的情况下，尽管参数量更大，但更大的模型和集成模型仍能压缩到更小的尺寸。
  • 将其嵌入 PAC-Bayes 界中，序列编码为数十亿参数的 LLM 提供了最先进的泛化保证。
  • 该技术将可学习信息与随机内容隔离开来，揭示了低熵文本比高熵图像数据包含更多的结构。

这种压缩方法在计算最优范围内提供更紧的泛化界，并预测了多轮训练期间的渐进式过拟合。