Liquid AIは、8,192トークンのコンテキスト長まで効率的にスケーリング可能で高品質な双方向エンコーディングを提供するために設計された2つの新しいエンコーダーモデル、LFM2.5-Encoder-230MとLFM2.5-Encoder-350Mをリリースしました。

  • LFM2ハイブリッドアーキテクチャに基づき、これらのモデルは双方向アテンションマスクと非因果的短縮畳み込みを用いて完全なコンテキストを処理します。
  • 学習では、30%のマスク率を持つマスク言語モデリング目的が用いられ、その後に事実認識と多言語能力を強化するための長文コンテキスト適応が行われます。
  • ベンチマークによると、LFM2.5-Encoder-350MはGLUE/SuperGLUEタスクで14モデル中4位にランクインし、230MバリアントはModernBERT-baseを上回ります。
  • CPUハードウェアでは、230Mモデルは8,192トークンでModernBERT-baseより約3.7倍高速であり、エッジデバイスや規制環境に適しています。

これらのオープンウェイトモデルにより、開発者はCPU上または低遅延GPUデプロイメントで分類、意図ルーティング、安全フィルタリングを直接ファインチューニングできます。