Компания Liquid AI выпустила контрольные точки GGUF формата Q4_0 для семейства моделей LFM2.5, используя новый метод обучения под названием дистилляция, учитывающая квантование (QAD). Этот подход позволяет дистиллировать учителя с высокой точностью в квантованную модель-студента, чтобы восстановить точность, утраченную при стандартной постобучающей квантовании.

  • Контрольные точки QAD сохраняют от 96,5% до 97,4% производительности базового уровня BF16 для четырёх размеров моделей: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct и LFM2.5-2.6B.
  • На периферийном оборудовании, включая MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra и Raspberry Pi 5, контрольные точки соответствуют более высоким уровням квантования (Q5_K_M или Q4_K_M), обеспечивая при этом на 3–33% более высокую пропускную способность декодирования.
  • Модели доступны на Hugging Face и совместимы с llama.cpp и другими средами выполнения, поддерживающими артефакты GGUF Q4_0.

Этот релиз позволяет пользователям разворачивать модели LFM2.5 на периферийных устройствах с ограниченными ресурсами, обеспечивая производительность, сопоставимую с более крупными форматами квантования, без ущерба для скорости.