저자들은 다중 모달 과학적 이해, 추론, 생성 및 장기 작업을 지원하도록 설계된 일련의 과학적 에이전트 파운데이션 모델인 Intern-S2-Preview를 제시합니다. 학습 파이프라인은 렌더링된 과학 문서, 교차된 이미지-텍스트 데이터 및 다양한 과학 코퍼스에 대한 과학적 다중 모달 사전 훈련을 시작으로 합니다.
이 모델은 지도 미세 조정, 확장 가능한 다중 작업 강화 학습(RL), 블랙박스 및 화이트박스 에이전트 RL, 온-정책 증류로 구성된 통합 사후 학습 파이프라인을 활용합니다. 주요 기술적 개선 사항에는 오프-정책 보정이 있는 부분 롤아웃, 적응형 길이 정규화, 온라인 추측 디코딩, 견고한 다중 작업 최적화 및 추적 인식 경험 조립이 포함됩니다.
Intern-S2-Preview-397B는 효율적인 장기 시퀀스 이해에서 수치 예측으로 시계열 모델링을 확장하며, Memory Decoder는 빠른 과학적 전문화를 위한 별도의 메모리 증강 경로를 제공합니다. 평가 결과 Intern-S2-Preview-397B가 과학, 다중 모달, 에이전트 및 범용 벤치마크 전반에서 경쟁력 있거나 선도적인 결과를 달성하는 것으로 나타났습니다.
시계열 모듈은 SciTS에서 과학적 신호 이해 및 예측을 개선하며, 별도의 Intern-MemDec-4B 확장은 동결된 397B 백본을 수정하지 않고도 Biology-Instructions 평균 점수를 56.92에서 60.32로 향상시킵니다.