AntLingは、Ling-3.0-tinyおよびLing-3.0-flashアーキテクチャ向けの6つのベースモデルチェックポイントをリリースした。これらは、事前学習済み、中間学習済み、WSMマージ済みの各段階をカバーしている。これらのモデルは後期学習を経ていないため、研究者が継続的な事前学習、ファインチューニング、さらなる研究に対して柔軟な出発点を得られるようになっている。

  • リリースでは、学習率の減衰に代わる重み付きチェックポイントマージ（WSM）を活用し、異なる戦略のオフラインでの探索を容易にし、継続的事前学習により適した形としている。
  • Ling-3.0-tiny-baseは総パラメータ数7.9B、アクティブパラメータ数1.3Bを持ち、コーディングにおいて特に顕著な性能向上を示すなど、Ling-2.5-mini-baseと比較してほとんどのベンチマークで同等以上のパフォーマンスを発揮する。
  • Ling-3.0-flash-baseは総パラメータ数124B、アクティブパラメータ数5.1Bを持ち、競合他社よりも小型であるにもかかわらず、コーディング、推論、長期コンテキストタスクにおいて強力な結果を達成している。
  • 共通のトレーニングレシピにより、コミュニティがflash-baseアーキテクチャにスケールする前にtiny-baseモデルで戦略を検証できるようになっている。

リリースにより、金融や医療などの専門分野におけるドメイン適応が可能となり、スパース活性化構造を通じてモデル挙動の研究やMoE研究もサポートされる。