A Liquid AI lançou checkpoints GGUF Q4_0 para sua família de modelos LFM2.5, utilizando um novo método de treinamento chamado Destilação Sensível à Quantização (QAD). Essa abordagem destila modelos professores de alta precisão em modelos alunos quantizados para recuperar a precisão perdida durante a quantização pós-treinamento padrão.

  • Os checkpoints QAD retêm entre 96,5% e 97,4% do desempenho da linha de base BF16 em quatro tamanhos de modelo: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct e LFM2.5-2.6B.
  • Em hardware de borda incluindo MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra e Raspberry Pi 5, os checkpoints correspondem a níveis de quantização de maior qualidade (Q5_K_M ou Q4_K_M) enquanto oferecem 3-33% maior taxa de decodificação.
  • Os modelos estão disponíveis no Hugging Face e são compatíveis com llama.cpp e outros runtimes que suportam artefatos GGUF Q4_0.

Este lançamento permite que os usuários implantem modelos LFM2.5 em dispositivos de borda com recursos limitados, com desempenho comparável a formatos de quantização maiores sem sacrificar a velocidade.