Liquid AI ने अपने LFM2.5 परिवार के लिए ड्राफ्ट मॉडल चेकपॉइंट्स जारी किए हैं—विशेष रूप से LFM2.5-1.2B-Instruct, LFM2.5-2.6B, और LFM2.5-8B-A1B—जो आउटपुट गुणवत्ता को बिना खोए इनफरेंस गति में महत्वपूर्ण सुधार करने के लिए स्पेकुलेटिव डिकोडिंग का उपयोग करते हैं।
- DSpark विधि एक समानांतर बैकबोन, एक हल्के क्रमागत हेड और एक आत्मविश्वास-अनुसूचित सत्यापक को जोड़ती है ताकि कम मेमोरी के बदले बड़ी थ्रूपुट वृद्धि करके लेटेंसी को कम किया जा सके।
- बेंचमार्कों में NVIDIA H100 GPU पर 3.18x तक थ्रूपुट सुधार और M4 Max MacBook Pro जैसे एज डिवाइस पर 2.87x तक सुधार दिखाया गया है।
- फंक्शन कॉलिंग से जुड़े एजेंटिक वर्कलोड के लिए, DSpark BFCL डेटासेट पर औसतन 57% लेटेंसी कम करता है।
- ये ड्राफ्ट मॉडल llama.cpp और SGLang में अपस्ट्रीम ओपन-सोर्स किए गए हैं, और चेकपॉइंट्स Hugging Face पर Safetensors और GGUF दोनों फॉर्मेट में उपलब्ध हैं।
यह रिलीज LFM2.5 को एज इनफरेंस के लिए दिन-एक समर्थन और उच्च-थ्रूपुट GPU सर्विंग प्रदान करके ऑन-डिवाइस एजेंटिक अनुप्रयोगों के लिए व्यावहारिक बनाने का लक्ष्य रखती है।