A Liquid AI lançou dois novos modelos de codificação, LFM2.5-Encoder-230M e LFM2.5-Encoder-350M, projetados para fornecer codificação bidirecional de alta qualidade com escalonamento eficiente até um comprimento de contexto de 8.192 tokens.

  • Baseados na arquitetura híbrida LFM2, os modelos usam uma máscara de atenção bidirecional e convoluções curtas não causais para processar o contexto completo.
  • O treinamento envolve um objetivo de modelagem de linguagem mascarada com taxa de mascaramento de 30%, seguido por adaptação de contexto longo para fortalecer a competência factual e multilíngue.
  • Os benchmarks mostram que o LFM2.5-Encoder-350M ocupa a quarta posição entre 14 modelos nas tarefas GLUE/SuperGLUE, enquanto a variante de 230M supera o ModernBERT-base.
  • Em hardware de CPU, o modelo de 230M é aproximadamente 3,7x mais rápido que o ModernBERT-base em 8.192 tokens, tornando-o adequado para dispositivos de borda e ambientes regulados.

Esses modelos de peso aberto permitem que desenvolvedores ajustem finamente para classificação, roteamento de intenção e filtragem de segurança diretamente em CPUs ou em implantações de GPU com baixa latência.