Liquid AI ने दो नए एन्कोडर मॉडल, LFM2.5-Encoder-230M और LFM2.5-Encoder-350M जारी किए हैं, जो 8,196-टोकन संदर्भ लंबाई तक कुशल स्केलिंग के साथ उच्च गुणवत्ता वाले द्विदिशात्मक एन्कोडिंग प्रदान करने के लिए डिज़ाइन किए गए हैं।
- LFM2 हाइब्रिड आर्किटेक्चर पर निर्मित, मॉडल पूर्ण संदर्भ को प्रोसेस करने के लिए द्विदिशात्मक एटेंशन मास्क और नॉन-काज़ुअल शॉर्ट कन्वोल्यूशंस का उपयोग करते हैं।
- प्रशिक्षण में 30% मास्क दर के साथ एक मस्क्ड लैंग्वेज मॉडलिंग उद्देश्य शामिल है, जिसके बाद तथ्यात्मक और बहुभाषी क्षमता को मजबूत करने के लिए लंबे संदर्भ का अनुकूलन किया जाता है।
- बेंचमार्क दर्शाते हैं कि GLUE/SuperGLUE कार्यों पर LFM2.5-Encoder-350M 14 मॉडल में चौथे स्थान पर है, जबकि 230M वेरिएंट ModernBERT-base को हराता है।
- CPU हार्डवेयर पर, 8,196 टोकन पर 230M मॉडल ModernBERT-base से लगभग 3.7x तेज़ है, जो इसे एज डिवाइस और विनियमित वातावरण के लिए उपयुक्त बनाता है।
ये ओपन-वेट मॉडल डेवलपर्स को क्लासिफिकेशन, इंटेंट रूटिंग और सेफटी फिल्टरिंग के लिए सीपीयू पर या कम लेटेंसी वाले GPU डिप्लॉयमेंट में सीधे फाइन-ट्यून करने की अनुमति देते हैं।