AntLing выпустила шесть базовых контрольных точек для архитектур Ling-3.0-tiny и Ling-3.0-flash, охватывающих этапы предобучения, промежуточного обучения и слияния WSM. Эти модели не прошли постобучение, предоставляя исследователям гибкие отправные точки для продолжения предварительного обучения, тонкой настройки и дальнейших исследований.
- Выпуск использует взвешенное слияние контрольных точек (WSM) вместо затухания скорости обучения, что облегчает офлайн-исследование различных стратегий и лучше подходит для непрерывного предварительного обучения.
- Ling-3.0-tiny-base имеет 7,9 млрд общих параметров с 1,3 млрд активных, обеспечивая сопоставимую или превосходную производительность в большинстве бенчмарков по сравнению с Ling-2.5-mini-base, особенно в задачах программирования.
- Ling-3.0-flash-base содержит 124 млрд общих параметров с 5,1 млрд активных, демонстрируя сильные результаты в задачах программирования, рассуждений и работы с длинным контекстом, несмотря на меньший размер по сравнению с конкурентами.
- Общий рецепт обучения позволяет сообществу проверять стратегии на модели tiny-base перед масштабированием их на архитектуру flash-base.
Выпуск обеспечивает адаптацию домена в специализированных приложениях, таких как финансы и здравоохранение, а также поддерживает исследования поведения моделей и MoE благодаря своей разреженной структуре активации.