Liquid AI는 최대 8,192토큰의 컨텍스트 길이까지 효율적으로 확장되며 고품질 양방향 인코딩을 제공하도록 설계된 두 가지 새로운 인코더 모델인 LFM2.5-Encoder-230M과 LFM2.5-Encoder-350M을 출시했습니다.

  • LFM2 하이브리드 아키텍처를 기반으로 한 이 모델들은 전체 컨텍스트를 처리하기 위해 양방향 어텐션 마스크와 비인과적(short) 합성곱을 사용합니다.
  • 학습은 30%의 마스크 비율로 마스킹 언어 모델링 목표를 수행한 후, 사실 및 다국어 능력을 강화하기 위한 긴 컨텍스트 적응 과정을 포함합니다.
  • 벤치마크 결과에 따르면 LFM2.5-Encoder-350M은 GLUE/SuperGLUE 작업에서 14개 모델 중 4위를 차지했으며, 230M 변형 버전은 ModernBERT-base를 능가합니다.
  • CPU 하드웨어에서 230M 모델은 8,192토큰 기준 ModernBERT-base보다 약 3.7배 빠르며, 에지 디바이스와 규제 환경에 적합합니다.

이 오픈 가중치 모델을 통해 개발자는 분류, 의도 라우팅 및 안전 필터링을 CPU 또는 저지연 GPU 배포 환경에서 직접 파인튜닝할 수 있습니다.