Liquid AI ने अपने LFM2.5 श्रृंखला के लिए DSpark ड्राफ्ट मॉडल ओपन-सोर्स किए हैं, जिससे स्पेकुलेटिव डिकोडिंग सक्षम होती है जो GPU पर 3.18x तक थ्रूपुट सुधार और डिवाइस पर 2.87x प्रदान करती है।

  • DSpark आर्किटेक्चर मेमोरी-बाउंड डिकोड चरण में लेटेंसी कम करने के लिए एक पैरेलल बैकबोन, एक लाइटवेट सीक्वेंशियल हेड और एक कॉन्फिडेंस-स्केड्यूल्ड वेरिफायर को जोड़ता है।
  • llama.cpp और SGLang के लिए डे-वन सपोर्ट प्रदान किया गया है, जिससे उपयोगकर्ता न्यूनतम कॉन्फ़िगरेशन बदलावों के साथ मॉडल चला सकते हैं।
  • M4 Max MacBook Pro पर, LFM2.5-2.6B 140 tok/s से अधिक गति प्राप्त करता है, जबकि फंक्शन-कॉलिंग लेटेंसी औसतन 57% कम हो जाती है।
  • विभिन्न LFM2.5 आकारों (जिसमें 1.2B, 2.6B और 8B शामिल हैं) के लिए ड्राफ्ट मॉडल चेकपॉइंट्स Safetensors और GGUF दोनों प्रारूपों में उपलब्ध हैं।

इस इंटीग्रेशन से उपयोगकर्ता ग्रिडी डिकोडिंग की सटीकता को त्यागे बिना स्थानीय रूप से या एक्सेलेरेटर पर दक्ष एजेंटिक इनफरेंस तैनात कर सकते हैं।