Liquid AI a publié deux nouveaux modèles encodeurs, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, conçus pour fournir un encodage bidirectionnel de haute qualité avec une mise à l'échelle efficace jusqu'à une longueur de contexte de 8 192 tokens.

  • Basés sur l'architecture hybride LFM2, les modèles utilisent un masque d'attention bidirectionnel et des convolutions courtes non causales pour traiter le contexte complet.
  • L'entraînement implique un objectif de modélisation du langage masqué avec un taux de masquage de 30 %, suivi d'une adaptation au long-contexte pour renforcer la compétence factuelle et multilingue.
  • Les benchmarks montrent que LFM2.5-Encoder-350M se classe quatrième parmi 14 modèles sur les tâches GLUE/SuperGLUE, tandis que la variante 230M bat ModernBERT-base.
  • Sur du matériel CPU, le modèle 230M est environ 3,7x plus rapide que ModernBERT-base à 8 192 tokens, ce qui le rend adapté aux appareils edge et aux environnements réglementés.

Ces modèles à poids ouverts permettent aux développeurs d'effectuer un fine-tuning pour la classification, le routage d'intention et le filtrage de sécurité directement sur des CPUs ou dans des déploiements GPU à faible latence.