Liquid AI выпустила две новые модели-энкодера: LFM2.5-Encoder-230M и LFM2.5-Encoder-350M, предназначенные для обеспечения высококачественного двунаправленного кодирования с эффективным масштабированием до длины контекста в 8192 токенов.

  • Построенные на гибридной архитектуре LFM2, модели используют маску двунаправленного внимания и некаузальные свёртки короткой длины для обработки полного контекста.
  • Обучение включает задачу маскированного языкового моделирования с уровнем маскирования 30%, за которым следует адаптация к длинному контексту для усиления фактологической и многоязычной компетенции.
  • Результаты бенчмарков показывают, что LFM2.5-Encoder-350M занимает четвёртое место среди 14 моделей на задачах GLUE/SuperGLUE, в то время как вариант на 230M параметров превосходит ModernBERT-base.
  • На аппаратном обеспечении CPU модель на 230M примерно в 3.7 раза быстрее ModernBERT-base при длине контекста в 8192 токенов, что делает её подходящей для периферийных устройств и регулируемых сред.

Эти модели с открытыми весами позволяют разработчикам дообучать их для классификации, маршрутизации намерений и фильтрации безопасности непосредственно на CPU или в развертываниях GPU с низкой задержкой.