AntLing은 Ling-3.0-tiny 및 Ling-3.0-flash 아키텍처를 위한 6개의 베이스 모델 체크포인트를 출시했으며, 이는 사전 학습 완료, 중간 학습 완료, WSM 병합 단계를 포함합니다. 이 모델들은 사후 학습을 거치지 않았으므로 연구자들에게 계속된 사전 학습, 파인튜닝 및 추가 연구를 위한 유연한 시작점을 제공합니다.

  • 이번 출시는 가중치 체크포인트 병합(WSM)을 활용하여 학습률 감소를 대체함으로써 다양한 전략의 오프라인 탐색을 용이하게 하고 계속된 사전 학습에 더 잘 적합하도록 합니다.
  • Ling-3.0-tiny-base는 총 7.9B 파라미터와 1.3B 활성 파라미터를 특징으로 하며, 코딩 분야에서 특히 Ling-2.5-mini-base와 비교했을 때 대부분의 벤치마크에서 동등하거나 우수한 성능을 발휘합니다.
  • Ling-3.0-flash-base는 총 124B 파라미터와 5.1B 활성 파라미터를 포함하며, 경쟁사보다 작음에도 불구하고 코딩, 추론 및 긴 컨텍스트 작업 전반에 걸쳐 강력한 결과를 달성했습니다.
  • 공유된 학습 레시피를 통해 커뮤니티는 flash-base 아키텍처로 확장하기 전에 tiny-base 모델에서 전략을 검증할 수 있습니다.

이번 출시는 금융 및 의료와 같은 특수 애플리케이션에서의 도메인 적응을 가능하게 하며, 희소 활성화 구조를 통해 모델 행동 연구 및 MoE 연구를 지원합니다.