Liquid AI выпустила две модели с открытыми весами, LFM2.5-Encoder-230M и LFM2.5-Encoder-350M, предназначенные для эффективного длинноконтекстного вывода на процессорах. Эти модели поддерживают контекст из 8192 токенов и созданы путем преобразования декодерных оснований LFM2 в двунаправленные энкодеры с использованием маскированного языкового моделирования.

  • Модели соответствуют или превосходят более крупные энкодеры по задачам GLUE, SuperGLUE и многоязычным задачам.
  • LFM2.5-Encoder-230M примерно в 3,7 раза быстрее ModernBERT-base при работе с 8192 токенами на CPU.
  • Обе модели доступны для дообучения в задачах классификации, маршрутизации и извлечения информации.

Выпуск направлен на предоставление более дешевой и быстрой альтернативы генеративным большим языковым моделям (LLM) для высоконагруженных производственных NLP-приложений, работающих на стандартном оборудовании.