作者介绍了 Intern-S2-Preview,这是一系列旨在支持多模态科学理解、推理、生成及长周期任务的科学智能体基础模型。训练流程始于对渲染的科学文档、交错图像文本数据以及多样化科学语料库进行的多模态预训练。

  • 从预训练检查点出发,团队应用了统一的后期训练流程,包括监督微调、可扩展的多任务强化学习(RL)、黑盒与白盒智能体 RL 以及在线策略蒸馏。
  • 实用技术提升了 rollout 和训练稳定性,包括带离线策略校正的部分 rollout、自适应长度正则化、在线推测解码、鲁棒多任务优化以及感知轨迹的经验组装。
  • Intern-S2-Preview-397B 将时间序列建模从高效长序列理解扩展至数值预测。
  • 独立的 Memory Decoder 扩展在不修改冻结的 397B 主干的情况下,将 Biology-Instructions 平均得分从 56.92 提升至 60.32。

在科学、多模态、智能体及通用基准上的评估表明,Intern-S2-Preview-397B 在多种设置下取得了具有竞争力或领先的成果。