أطلقت تيانتسِن نقطة فحص HiLS-Attention-7B، وهي نموذج بـ 7 مليارات معلمة مبني على هيكل أساسي بأسلوب OLMo3. يطبق النموذج آلية انتباه متقطع حسب الكتلة تتعلم اختيار الكتل بشكل نهائي تحت خسارة نمذجة اللغة.
تستخدم البنية مفاتيح كتلة مضغوطة لتقدير كتلة الكتلة وتُحلل الانتباه إلى سوفتماكس بين الكتل وداخل الكتل، مما يتيح التدريب المتقطع الأصلي لنمذجة السياق الطويل بكفاءة. تم تدريب نقطة الفحص بشكل مستمر من أوزان OLMo3-7B الأساسية وهي متاحة عبر مستودع Tencent-Hunyuan. هذا نموذج أساسي مُدرَّب مسبقًا بدون محاذاة أو ضبط للأمان، مما يعني أنه قد يعكس التحيزات الموجودة في مجموعة بيانات التدريب.