记忆引导的数据复用使大语言模型训练突破四周期限制

研究人员提出了 Memorization-guided Data Reuse，这是一种训练范式，利用模型记忆信号来自适应地确定在大型语言模型训练期间何时以及如何重用高质量数据。该方法旨在通过超越传统的单遍或固定周期约束来提高样本效率和性能。

该方法从损失保持动态和下游评估分数中推导出“记忆窗口”（Memorization Window）信号，以便对训练周期和数据重放调度做出有原则的决策。初步实验表明存在一种由记忆驱动的机制，其中模型性能随着重复次数的增加而显著提高，远远超出通常引用的四周期限制。

这些见解为记忆感知训练计划奠定了基础，有助于确定适当的复用预算，并在有限的高质量数据下实现更高效的 LLM 训练。