Liquid AI ने अपने LFM2.5 मॉडल परिवार के लिए Q4_0 GGUF चेकपॉइंट जारी किए हैं, जिनमें क्वांटाइज़ेशन-अवेयर डिस्टिलेशन (QAD) नामक एक नई प्रशिक्षण विधि का उपयोग किया गया है। यह दृष्टिकोण उच्च-सटीकता वाले शिक्षक मॉडलों को क्वांटाइज्ड छात्र मॉडलों में संकुचित करता है ताकि मान्य पश्च-प्रशिक्षण क्वांटाइज़ेशन के दौरान खोई गई सटीकता को पुनः प्राप्त किया जा सके।
- QAD चेकपॉइंट चार मॉडल आकारों: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct और LFM2.5-2.6B में BF16 आधार प्रदर्शन का 96.5% से 97.4% तक बनाए रखते हैं।
- MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra और Raspberry Pi 5 सहित एज हार्डवेयर पर, ये चेकपॉइंट उच्च-गुणवत्ता वाले क्वांटाइज़ेशन स्तरों (Q5_K_M या Q4_K_M) के बराबर होते हैं जबकि 3-33% अधिक डिकोड थ्रूपुट प्रदान करते हैं।
- मॉडल Hugging Face पर उपलब्ध हैं और llama.cpp और GGUF Q4_0 आर्टिफैक्ट्स का समर्थन करने वाले अन्य रनटाइम के साथ संगत हैं।
यह रिलीज उपयोगकर्ताओं को बड़े क्वांटाइज़ेशन फॉर्मेटों की तुलना में प्रदर्शन बनाए रखते हुए, गति से समझौता किए बिना, संसाधन-सीमित एज डिवाइस पर LFM2.5 मॉडल तैनात करने की अनुमति देती है।