Meituan ने अपने LongCat-Flash-Lite मॉडल के नए वेरिएंट, LongCat-Flash-Lite-Sparse के लिए वजन जारी किए हैं। इस अपडेट में घनत्व वाले MLA को बदलने के लिए LongCat Sparse Attention (LSA) पेश किया गया है और स्थानीय संदर्भ लंबाई समर्थन को 1 मिलियन टोकन तक बढ़ा दिया गया है।
- घनत्व वाली Multi-Head Latent Attention को LongCat Sparse Attention (LSA) से बदलता है।
- पिछली 256k सीमा की तुलना में 1M टोकन तक संदर्भ लंबाई का स्थानीय रूप से समर्थन करता है।
- वजन अब Hugging Face पर डाउनलोड के लिए उपलब्ध हैं।