Tencent ने HiLS-Attention-7B चेकपॉइंट जारी किया है, जो OLMo3-style बैकबोन पर बना 7-अरब पैरामीटर वाला मॉडल है। मॉडल एक चंक-वाइड स्पार्स एटेंशन तंत्र लागू करता है जो भाषा-मॉडलिंग नुकसान के तहत चंक चयन को end-to-end सीखता है।
आर्किटेक्चर चंक द्रव्यमान का अनुमान लगाने के लिए संपीड़ित चंक कुंजियों का उपयोग करता है और एटेंशन को इंटर-चंक और इन्ट्रा-चंक softmax में फैक्टराइज़ करता है, जो लंबे-संदर्भ मॉडलिंग के लिए कुशलता से नेटिव स्पार्स ट्रेनिंग की अनुमति देता है। चेकपॉइंट को बेस OLMo3-7B वजन से जारी रखा गया है और यह Tencent-Hunyuan रिपॉजिटरी के माध्यम से उपलब्ध है। यह एलाइनमेंट या सुरक्षा ट्यूनिंग के बिना एक प्रीट्रेन बेस मॉडल है, जिसका अर्थ है कि यह ट्रेनिंग कॉर्पस में मौजूद पक्षपात को दर्शा सकता है।