Liquid AI telah merilis checkpoint model draf untuk keluarga LFM2.5-nya—khususnya LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan LFM2.5-8B-A1B—yang memanfaatkan decoding spekulatif untuk secara signifikan meningkatkan kecepatan inferensi tanpa mengorbankan kualitas output.
- Metode DSpark menggabungkan backbone paralel, kepala sekuensial ringan, dan verifier yang dijadwalkan berdasarkan kepercayaan untuk mengurangi latensi dengan menukar memori minimal demi peningkatan throughput besar.
- Benchmark menunjukkan peningkatan throughput hingga 3.18x pada GPU NVIDIA H100 dan hingga 2.87x pada perangkat tepi seperti MacBook Pro M4 Max.
- Untuk beban kerja agentic yang melibatkan pemanggilan fungsi, DSpark mengurangi latensi rata-rata sebesar 57% pada dataset BFCL.
- Model draf tersebut dibuka sumbernya di llama.cpp dan SGLang, dengan checkpoint tersedia di Hugging Face dalam format Safetensors dan GGUF.
Rilis ini bertujuan untuk membuat LFM2.5 layak digunakan untuk aplikasi agentic on-device dengan menyediakan dukungan hari pertama untuk inferensi tepi yang efisien dan penyajian GPU ber-throughput tinggi.