AntLing telah merilis enam checkpoint model dasar untuk arsitektur Ling-3.0-tiny dan Ling-3.0-flash, mencakup tahap pra-dilatih, pertengahan pelatihan, dan penggabungan WSM. Model-model ini belum mengalami pasca-pelatihan, sehingga memberikan titik awal yang fleksibel bagi peneliti untuk pra-pelatihan lanjutan, penyetelan halus, dan penelitian lebih lanjut.
- Rilis ini memanfaatkan Penggabungan Checkpoint Berbobot (WSM) untuk menggantikan peluruhan laju pembelajaran, memfasilitasi eksplorasi offline berbagai strategi dan kesesuaian yang lebih baik untuk pra-pelatihan berkelanjutan.
- Ling-3.0-tiny-base memiliki total 7,9B parameter dengan 1,3B aktif, memberikan kinerja yang sebanding atau lebih unggul pada sebagian besar benchmark dibandingkan Ling-2.5-mini-base, khususnya dalam pemrograman.
- Ling-3.0-flash-base berisi total 124B parameter dengan 5,1B aktif, mencapai hasil kuat di seluruh tugas pemrograman, penalaran, dan konteks panjang meskipun ukurannya lebih kecil daripada pesaing.
- Resep pelatihan bersama memungkinkan komunitas memvalidasi strategi pada model tiny-base sebelum skalanya ke arsitektur flash-base.
Rilis ini memungkinkan adaptasi domain dalam aplikasi khusus seperti keuangan dan kesehatan, sambil mendukung studi perilaku model dan penelitian MoE melalui struktur aktivasi sparusnya.