korshunov.ai L'essentiel du monde ML
FR
Source · Liquid AI
lab Liquid AI · il y a 23 j · 13 vues

Les checkpoints LFM2.5 Q4_0 utilisent la Distillation Aware de Quantification pour récupérer 97 % de la précision BF16

L'équipe LFM2.5 a publié des checkpoints GGUF 4 bits mis à jour pour les modèles LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct et LFM2.5-2.6B, entraînés à l'aide de la Distillation Aware de Quantification (QAD). Cette technique distille un modèle enseignant haute précision dans un élève quantifié afin de récupérer la précision perdue lors de la quantification post-entraînement standard.