一位用户寻求关于管理跨八个开源数据集混合的持续预训练的建议，特别关注学习率选择与数据集采样比例之间的权衡。

  • 大型数据集（如 FineWeb-Edu-scale，超过 1T 个 token）需要相对较大的学习率来改善验证损失，而较小的数据集（约 50B 个 token）则需要极小的学习率。
  • 对仅占加权目标 2–5% 的小型数据集进行欠采样会导致其验证损失增加，原因是暴露不足且被大型数据集覆盖。
  • 对这些较小数据集进行过采样需要降低较大数据集的采样率，这可能会减慢整体加权目标的优化速度。

作者正在寻找能够处理这些相互冲突要求的训练策略或优化器修改方案，以高效地最小化加权验证损失。