Liquid AI は、LFM2.5 モデルファミリーの Q4_0 GGUF チェックポイントをリリースした。これは量子化対応蒸留(QAD)と呼ばれる新しいトレーニング手法を使用している。このアプローチは、高精度な教師モデルを量子化された生徒モデルに蒸留し、標準的な学習後量子化で失われた精度を回復させる。
- QAD チェックポイントは、LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6B の4つのモデルサイズ全体で、BF16 ベースラインのパフォーマンスの 96.5% から 97.4% を維持している。
- MacBook Pro、NucBox EVO-X2、Samsung Galaxy S26 Ultra、Raspberry Pi 5 などを含むエッジハードウェアでは、チェックポイントは Q5_K_M や Q4_K_M といった高品質な量子化レベルと同等の性能を発揮しつつ、デコードスループットが 3〜33% 向上する。
- モデルは Hugging Face で入手可能であり、GGUF Q4_0 アーティファクトをサポートする llama.cpp およびその他のランタイムと互換性がある。
このリリースにより、ユーザーは速度を犠牲にすることなく、より大きな量子化フォーマットと比較可能なパフォーマンスで、リソースが限られたエッジデバイスに LFM2.5 モデルを展開できるようになる。