Liquid AI ने अपने LFM2.5-VL-3B विजन-लैंग्वेज मॉडल के लिए एक प्रायोगिक स्पेकुलेटिव-डिकोडिंग ड्राफ्ट मॉडल, LFM2.5-VL-3B-DSpark जारी किया है। इस ड्राफ्टर में लगभग 280M पैरामीटर जोड़े गए हैं और मॉडल के आउटपुट वितरण को बदले बिना टोकन जनरेशन को तेज़ किया गया है।

  • 279.5M पैरामीटर वाला ड्राफ्टर 4 परतों वाले सरलीकृत एटेंशन-ओनली आर्किटेक्चर का उपयोग करता है, जिससे कुल तैनात पैरामीटर गणना में 8.9% की वृद्धि होती है।
  • Apple M5 Max सिलिकॉन पर डिकोडिंग गति 3.13x तक और NVIDIA H100 GPU पर 2.66x तक पहुंचती है, हालांकि स्थिर छवि एन्कोडिंग समय के कारण अंत-से-अंत लाभ कम होते हैं।
  • वजन Safetensors और GGUF प्रारूपों में उपलब्ध हैं, जिनमें LFM ओपन लाइसेंस v1.0 के तहत SGLang, MLX-VLM, और llama.cpp के लिए दिन-एक समर्थन शामिल है।

ग्रीडी डिकोडिंग के तहत आउटपुट बेस मॉडल के समान रहता है, जबकि उच्च तापमान स्वीकृति दरों और थ्रूपुट को कम कर देते हैं।

इस रिलीज से उपयोगकर्ताओं को संगत हार्डवेयर पर इनफरेंस को काफी तेज़ करने की अनुमति मिलती है, जबकि Liquid AI ने नोट किया है कि प्रीफिल और विजन एन्कोडिंग चरण अभी भी त्वरित नहीं हैं।