AntLing发布了其Ling-3.0-tiny和Ling-3.0-flash架构的六个基础模型检查点，涵盖预训练、中期训练和WSM合并阶段。这些模型尚未经过后训练处理，为研究人员提供了灵活的起点，用于继续预训练、微调及进一步研究。

  • 此次发布利用加权检查点合并（WSM）替代学习率衰减，便于离线探索不同策略，并更好地适应持续预训练。
  • Ling-3.0-tiny-base拥有7.9B总参数和1.3B激活参数，在大多数基准测试中表现出与Ling-2.5-mini-base相当或更优的性能，尤其在编码任务上表现突出。
  • Ling-3.0-flash-base包含124B总参数和5.1B激活参数，尽管规模小于竞争对手，但在编码、推理和长上下文任务中均取得强劲成果。
  • 共享的训练配方使社区能够在将策略扩展至flash-base架构之前，先在tiny-base模型上验证这些策略。

此次发布支持在金融和医疗等专业应用中进行领域自适应，同时通过其稀疏激活结构支持模型行为研究和MoE研究。