Liquid AI telah merilis checkpoint model draf DSpark untuk tiga model dalam keluarga LFM2.5-nya: LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan LFM2.5-8B-A1B. Model-model draf ini menambahkan jalur dekoding spekulatif ke model target yang ada, memungkinkan draf dengan sekitar 300 juta parameter untuk mengusulkan blok sembilan token kandidat yang akan diverifikasi oleh model target dalam satu kali forward pass.
- Sistem ini memberikan dekoding hingga 3,18x lebih cepat pada H100 dan hingga 2,87x pada MacBook Pro M4 Max tanpa mengubah output model.
- Di bawah decoding greedy, urutan yang dihasilkan identik dengan model target yang berjalan sendiri, memastikan akurasi benchmark tetap tidak berubah.
- DSpark menggabungkan backbone paralel bergaya DFlash dengan kepala sekuensial ringan yang dimodelkan sebagai rantai Markov dan verifier terjadwal kepercayaan.
- Skenario pemanggilan fungsi multi-alat mengalami pengurangan latensi rata-rata 57% untuk LFM2.5-2.6B, meskipun model MoE hanya mendapatkan peningkatan 1,18x pada Apple silicon karena batasan implementasi saat ini.
- Bobot tersedia dalam format Safetensors dan GGUF, dengan dukungan day-one di llama.cpp dan SGLang.
Teknologi ini memungkinkan pengembang secara signifikan mengurangi latensi inferensi untuk asisten kode lokal, agen perangkat, dan copilot offline sambil menjaga privasi data melalui self-hosting.