Liquid AI a publié deux modèles d'encodeur à poids ouverts, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, conçus pour une inférence efficace de contexte long sur les processeurs. Ces modèles prennent en charge un contexte de 8 192 tokens et sont construits en convertissant les backbones du décodeur LFM2 en encodeurs bidirectionnels à l'aide de la modélisation de langage masquée.

  • Les modèles égalent ou surpassent les encodeurs plus grands sur GLUE, SuperGLUE et les tâches multilingues.
  • LFM2.5-Encoder-230M est environ 3,7 fois plus rapide que ModernBERT-base avec 8 192 tokens sur CPU.
  • Les deux modèles sont disponibles pour le fine-tuning sur des tâches de classification, de routage et d'extraction.

Le lancement vise à fournir une alternative moins chère et plus rapide aux LLM génératifs pour les applications NLP de production à fort volume fonctionnant sur du matériel standard.