Liquid AI ha lanzado dos nuevos modelos de codificador, LFM2.5-Encoder-230M y LFM2.5-Encoder-350M, diseñados para proporcionar una codificación bidireccional de alta calidad con escalado eficiente hasta una longitud de contexto de 8.192 tokens.

  • Basados en la arquitectura híbrida LFM2, los modelos utilizan una máscara de atención bidireccional y convoluciones cortas no causales para procesar el contexto completo.
  • El entrenamiento implica un objetivo de modelado de lenguaje enmascarado con una tasa de enmascaramiento del 30%, seguido de una adaptación a contexto largo para fortalecer la competencia factual y multilingüe.
  • Los benchmarks muestran que LFM2.5-Encoder-350M ocupa el cuarto lugar entre 14 modelos en tareas GLUE/SuperGLUE, mientras que la variante de 230M supera a ModernBERT-base.
  • En hardware CPU, el modelo de 230M es aproximadamente 3.7 veces más rápido que ModernBERT-base con 8.192 tokens, lo que lo hace adecuado para dispositivos edge y entornos regulados.

Estos modelos de peso abierto permiten a los desarrolladores realizar ajuste fino para clasificación, enrutamiento de intenciones y filtrado de seguridad directamente en CPUs o en despliegues de GPU de baja latencia.