Liquid AI telah merilis dua model encoder baru, LFM2.5-Encoder-230M dan LFM2.5-Encoder-350M, yang dirancang untuk memberikan encoding bidirectional berkualitas tinggi dengan penskalaan efisien hingga panjang konteks 8.192 token.
- Dibangun di atas arsitektur hibrida LFM2, model-model ini menggunakan mask perhatian bidirectional dan konvolusi pendek non-kausal untuk memproses konteks penuh.
- Pelatihan melibatkan tujuan pemodelan bahasa termask dengan tingkat mask 30%, diikuti oleh adaptasi konteks panjang untuk memperkuat kompetensi faktual dan multibahasa.
- Benchmark menunjukkan LFM2.5-Encoder-350M menempati peringkat keempat di antara 14 model pada tugas GLUE/SuperGLUE, sementara varian 230M mengalahkan ModernBERT-base.
- Pada perangkat keras CPU, model 230M sekitar 3,7x lebih cepat daripada ModernBERT-base pada 8.192 token, sehingga cocok untuk perangkat tepi dan lingkungan yang diatur.
Model bobot terbuka ini memungkinkan pengembang melakukan fine-tuning untuk klasifikasi, routing niat, dan penyaringan keamanan langsung di CPU atau dalam deployment GPU latensi rendah.