AntLing ने अपनी Ling-3.0-tiny और Ling-3.0-flash आर्किटेक्चर के लिए छह बेस मॉडल चेकपॉइंट्स जारी किए हैं, जिनमें प्री-ट्रेन्ड, मिड-ट्रेन्ड और WSM-मर्ज्ड चरण शामिल हैं। इन मॉडल्स पर पोस्ट-ट्रेनिंग नहीं किया गया है, जिससे शोधकर्ताओं को निरंतर प्री-ट्रेनिंग, फाइन-ट्यूनिंग और आगे के शोध के लिए लचीले शुरुआती बिंदु मिलते हैं।
- रिलीज में वेटेड चेकपॉइंट मर्जिंग (WSM) का उपयोग किया गया है, जो लर्निंग रेट डिके को बदलता है, जिससे अलग-अलग रणनीतियों के ऑफलाइन एक्सप्लोरेशन और निरंतर प्री-ट्रेनिंग के लिए बेहतर उपयुक्तता मिलती है।
- Ling-3.0-tiny-base में 7.9B कुल पैरामीटर और 1.3B सक्रिय पैरामीटर हैं, जो ज्यादातर बेंचमार्क्स पर Ling-2.5-mini-base की तुलना में समान या बेहतर प्रदर्शन देता है, खासतौर पर कोडिंग में।
- Ling-3.0-flash-base में 124B कुल पैरामीटर और 5.1B सक्रिय पैरामीटर हैं, जो प्रतिस्पर्धियों से छोटा होने के बावजूद कोडिंग, तर्क और लंबे संदर्भ कार्यों में मजबूत परिणाम प्राप्त करता है।
- एक साझा ट्रेनिंग रेसिपी समुदाय को फ्लैश-आर्किटेक्चर पर स्केल करने से पहले छोटे-बेस मॉडल पर रणनीतियों की पुष्टि करने की अनुमति देता है।
इस रिलीज ने वित्त और स्वास्थ्य जैसे विशेष क्षेत्रों में डोमेन एडाप्टेशन को सक्षम बनाया है, जबकि स्पार्स एक्टिवेशन स्ट्रक्चर के माध्यम से मॉडल व्यवहार अध्ययनों और MoE शोध का समर्थन किया है।