Tencent telah merilis checkpoint HiLS-Attention-7B, sebuah model dengan 7 miliar parameter yang dibangun di atas backbone bergaya OLMo3. Model ini mengimplementasikan mekanisme perhatian jarang per-kuint yang mempelajari pemilihan kuint secara end-to-end di bawah kerugian pemodelan bahasa.
Arsitektur menggunakan kunci kuint terkompresi untuk memperkirakan massa kuint dan memfaktorkan perhatian menjadi softmax antar-kuint dan intra-kuint, memungkinkan pelatihan jarang asli untuk pemodelan konteks panjang yang efisien. Checkpoint ini dilatih lebih lanjut dari bobot dasar OLMo3-7B dan tersedia melalui repositori Tencent-Hunyuan. Ini adalah model dasar pra-pelatihan tanpa penyesuaian atau penyetelan keamanan, artinya model ini mungkin mencerminkan bias yang ada dalam korpus pelatihan.