Liquid AI가 LFM2.5 모델 계열을 위해 새로운 학습 방법인 양자화 인식 증류(Quantization-Aware Distillation, QAD)를 활용하여 Q4_0 GGUF 체크포인트를 출시했습니다. 이 접근 방식은 표준 사후 학습 양자화 과정에서 손실된 정확도를 복원하기 위해 고정밀 교사 모델을 양자화된 학생 모델로 증류합니다.

  • QAD 체크포인트는 LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, LFM2.5-2.6B 등 네 가지 모델 크기 전반에 걸쳐 BF16 기준 성능의 96.5%에서 97.4%를 유지합니다.
  • MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra, Raspberry Pi 5를 포함한 엣지 하드웨어에서 이 체크포인트는 Q5_K_M 또는 Q4_K_M과 같은 더 높은 품질의 양자화 수준과 성능을 맞추면서도 디코드 처리량(decode throughput)이 3-33% 더 높습니다.
  • 모델은 Hugging Face에서 이용 가능하며 GGUF Q4_0 아티팩트를 지원하는 llama.cpp 및 기타 런타임과 호환됩니다.

이번 출시로 사용자는 속도를 희생하지 않고도 더 큰 양자화 형식과 비교할 만한 성능을 유지하며 리소스가 제한된 엣지 장치에 LFM2.5 모델을 배포할 수 있습니다.