Авторы представляют Intern-S2-Preview, серию научных агентных базовых моделей, предназначенных для поддержки мультимодального научного понимания, рассуждений, генерации и задач с длинным горизонтом. Процесс обучения начинается с научного мультимодального предобучения на рендеринге научных документов, чередующихся данных «изображение-текст» и разнообразных научных корпусах.
- Начиная с предварительно обученного контрольного пункта, команда применяет унифицированный постобучающий конвейер, состоящий из контролируемой тонкой настройки, масштабируемого многозадачного обучения с подкреплением (RL), агентного RL с чёрным и белым ящиком и дистилляции on-policy.
- Практические методы улучшают стабильность rollout и обучения, включая частичный rollout с коррекцией off-policy, адаптивную регуляризацию длины, онлайн спекулятивное декодирование, устойчивую многозадачную оптимизацию и сбор опыта с учётом трассировки.
- Intern-S2-Preview-397B расширяет моделирование временных рядов от эффективного понимания длинных последовательностей к численному прогнозированию.
- Отдельное расширение Memory Decoder улучшает средний балл Biology-Instructions с 56.92 до 60.32 без изменения замороженного бэкбона на 397B.
Оценки по научным, мультимодальным, агентным и общим бенчмаркам показывают, что Intern-S2-Preview-397B достигает конкурентных или ведущих результатов в нескольких настройках.