Liquid AI ha lanzado los checkpoints GGUF Q4_0 para su familia de modelos LFM2.5, utilizando un nuevo método de entrenamiento llamado Destilación Consciente de Cuantización (QAD). Este enfoque destila modelos maestros de alta precisión en modelos estudiantes cuantizados para recuperar la precisión perdida durante la cuantización estándar posterior al entrenamiento.

  • Los checkpoints QAD retienen entre el 96,5 % y el 97,4 % del rendimiento de referencia BF16 en cuatro tamaños de modelo: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct y LFM2.5-2.6B.
  • En hardware de borde que incluye MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra y Raspberry Pi 5, los checkpoints igualan niveles de cuantización de mayor calidad (Q5_K_M o Q4_K_M) mientras ofrecen un rendimiento de decodificación entre un 3 % y un 33 % superior.
  • Los modelos están disponibles en Hugging Face y son compatibles con llama.cpp y otros entornos de ejecución que admiten artefactos GGUF Q4_0.

Este lanzamiento permite a los usuarios implementar modelos LFM2.5 en dispositivos de borde con recursos limitados, con un rendimiento comparable a formatos de cuantización más grandes sin sacrificar velocidad.