Liquid AI ने LFM2.5-VL-3B दृश्य-भाषा मॉडल के लिए निष्पादन को तेज़ करने के लिए एक अनुमानित डिकोडिंग ड्राफ्टर, LFM2.5-VL-DSpark ड्राफ्ट मॉडल जारी किया है। ड्राफ्टर उम्मीदवार टोकन उत्पन्न करने के लिए लक्ष्य मॉडल के स्थिर परतों से छिपी अवस्थाओं को पकड़ता है, जिसमें केवल 280M पैरामीटर (8.9% ओवरहेड) जुड़े हैं जबकि सभी मोडेलिटीज़ में समान आयाम बनाए रखे गए हैं।

  • Apple M5 Max डिवाइसों पर डिकोडिंग गति में 3.13x तक और NVIDIA H100 GPU पर 2.66x तक वृद्धि मिली है।
  • डिवाइस पर अंत-से-अंत विलंबता में 1.56x से 2.62x तक और GPU पर 1.64x से 2.27x तक सुधार हुआ है।
  • मॉडल llama.cpp, MLX-VLM, और SGLang के लिए दिन-एक एकीकरण समर्थन प्रदान करता है।
  • अनुमानित डिकोडिंग केवल डिकोड चरण को तेज़ करता है; पेशफिल और दृश्य एन्कोडिंग किनारे के डिवाइसों पर कंप्यूट-बाउंड बाधक बने रहते हैं।

इस रिलीज से विविक्त हार्डवेयर वातावरण में ओपन-वेट दृश्य-भाषा मॉडल का तेज़ तैनाती संभव हुआ है, बिना फाइन-ट्यूनिंग या वितरण पर कोई प्रतिबंध लगाए।