Liquid AI ने अपने विजन-लैंग्वेज मॉडल LFM2.5-VL-3B के लिए एक प्रायोगिक DSpark ड्राफ्ट मॉडल जारी किया है, जो आउटपुट गुणवत्ता को बदले बिना एज डिवाइसों और GPU पर तेज़ डिकोडिंग सक्षम करता है।
ड्राफ्टर तैनात मॉडल के पैरामीटर गिनती में लगभग 8.9% की वृद्धि करता है और H100 GPU पर 2.66x तक और Apple Silicon एज डिवाइसों पर 3.13x तक डिकोडिंग थ्रूपुट सुधार हासिल करता है।
GPU पर 2.27x और एज हार्डवेयर पर 2.62x तक अंत-से-अंत थ्रूपुट लाभ प्राप्त होते हैं, जबकि प्रणाली SGLang में विभिन्न संवादरी स्तरों केAcross थ्रूपुट लाभ बनाए रखती है।
लेखकों ने नोट किया है कि अनुमानित डिकोडिंग केवल डिकोड चरण को त्वरित करती है, जिसका अर्थ है कि विजन एन्कोडिंग और प्रीफिल खर्च अपरिवर्तित रहते हैं, जो संसाधन-सीमित एज डिवाइसों पर समग्र विलंबता सुधार को सीमित करता है।