Liquid AIがLFM2.5向けにDSparkドラフトモデルをリリースし、推論を加速
Liquid AIは、出力品質を損なうことなく推論速度を大幅に向上させるためにスペキュラティブ・デコーディングを活用する、そのLFM2.5ファミリーのドラフトモデルチェックポイント—具体的にはLFM2.5-1.2B-Instruct、LFM2.5-2.6B、およびLFM2.5-8B-A1B—をリリースした。
Liquid AIは、出力品質を損なうことなく推論速度を大幅に向上させるためにスペキュラティブ・デコーディングを活用する、そのLFM2.5ファミリーのドラフトモデルチェックポイント—具体的にはLFM2.5-1.2B-Instruct、LFM2.5-2.6B、およびLFM2.5-8B-A1B—をリリースした。
LFM2.5チームは、量子化意識蒸留（QAD）を使用してトレーニングされたLFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、およびLFM2.5-2.6Bモデルの更新された4ビットGGUFチェックポイントをリリースしました。この手法は、高精度の教師モデルを量子化された生徒モデルに蒸留し、標準的な量子化中に失われた精度を回復します。