Liquid AI 已为其 LFM2.5 模型系列发布了 Q4_0 GGUF 检查点，采用了一种名为量化感知蒸馏（QAD）的新训练方法。该方法将高精度教师模型蒸馏为量化学生模型，以恢复标准后训练量化过程中丢失的准确性。

  • QAD 检查点在四种模型尺寸上保留了 BF16 基线性能的 96.5% 至 97.4%：LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B。
  • 在包括 MacBook Pro、NucBox EVO-X2、Samsung Galaxy S26 Ultra 和 Raspberry Pi 5 在内的边缘硬件上，这些检查点达到了更高质量的量化水平（Q5_K_M 或 Q4_K_M），同时提供 3-33% 更高的解码吞吐量。
  • 这些模型可在 Hugging Face 上获取，并兼容 llama.cpp 及其他支持 GGUF Q4_0 工件的运行环境。

此次发布使用户能够在资源受限的边缘设备上部署 LFM2.5 模型，其性能可与更大量化格式相媲美，且不牺牲速度。