Liquid AIは、CPUでの効率的な長文脈推論用に設計された2つのオープンウェイトエンコーダーモデル、LFM2.5-Encoder-230MおよびLFM2.5-Encoder-350Mをリリースしました。これらのモデルは8,192トークンのコンテキストをサポートし、マスク言語モデリングを使用してLFM2デコーダバックボンを双方向エンコーダーに変換することで構築されています。

  • モデルはGLUE、SuperGLUE、および多言語タスクにおいて、より大きなエンコーダーと同等かそれ以上の性能を発揮します。
  • CPU上で8,192トークン処理する場合、LFM2.5-Encoder-230MはModernBERT-baseよりも約3.7倍高速です。
  • 両モデルとも、分類、ルーティング、抽出タスクのファインチューニングに利用可能です。

今回のリリースは、標準ハードウェア上で動作する高負荷の生産用NLPアプリケーション向けに、生成型LLMよりも安価で高速な代替手段を提供することを目指しています。