LFM2.5 टीम ने LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct और LFM2.5-2.6B मॉडलों के लिए अपडेटेड 4-बिट GGUF चेकपॉइंट्स जारी किए हैं, जिन्हें क्वांटाइज़ेशन-अवेयर डिस्टिलेशन (QAD) का उपयोग करके प्रशिक्षित किया गया है। यह तकनीक एक उच्च-सटीकता वाले शिक्षक मॉडल को एक क्वांटाइज्ड छात्र में संकुचित करती है ताकि मानक क्वांटाइज़ेशन के दौरान खोई गई सटीकता को पुनर्स्थापित किया जा सके।
- QAD सभी चार मॉडल आकारों पर BF16 और मानक Q4_0 पोस्ट-ट्रेनिंग क्वांटाइज़ेशन के बीच प्रदर्शन अंतर का लगभग 97% पुनर्स्थापित करता है।
- विशिष्ट पुनर्स्थापन दरें LFM2.5-230M के लिए 70.6%, LFM2.5-350M के लिए 73.4%, LFM2.5-1.2B के लिए 65.5% और LFM2.5-2.6B के लिए 48.4% हैं।
- तर्क, निर्देश-अनुपालन, उपकरण उपयोग और एजेंटिक क्षमताओं को कवर करने वाले बेंचमार्क GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF, BFCLv4, GSM8K और AIME25 पर किए गए थे।
- चेकपॉइंट्स नेटेव Q4_0 GGUFs की उच्च थ्रूपुट को बनाए रखते हुए परीक्षण किए गए हार्डवेयर बैकएंड्स पर Q5_K_M और Q4_K_M फॉर्मेट्स की गुणवत्ता से मेल खाते हैं या उसे पार करते हैं।
ये अपडेट एज डिवाइसों को पूर्ण-सटीकता वाले मॉडलों की तुलना में महत्वपूर्ण सटीकता ह्रास के बिना कम मेमोरी फुटप्रिंट और उच्च इनफरेंस गति बनाए रखने की अनुमति देते हैं।