korshunov.ai Всё самое важное в мире ML
RU
Источник · Liquid AI
lab Liquid AI · 22 д назад · 18 просмотров

Liquid AI выпустила черновые модели DSpark для LFM2.5 с целью ускорения вывода

Компания Liquid AI выпустила контрольные точки черновых моделей для семейства LFM2.5 — в частности, LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B — которые используют спекулятивное декодирование для значительного улучшения скорости вывода без ущерба качеству результата.
lab Liquid AI · 23 д назад · 13 просмотров

Чекпоинты LFM2.5 Q4_0 используют квантующую дистилляцию для восстановления 97% точности BF16

Команда LFM2.5 выпустила обновлённые чекпоинты GGUF 4-битной разрядности для моделей LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct и LFM2.5-2.6B, обученные с помощью квантующей дистилляции (QAD). Этот метод позволяет дистиллировать высокоточную модель-учителя в квантованную модель-студента для восстановления точности, потерянной при стандартной квантовании.