Tencent выпустила чекпоинт HiLS-Attention-7B, модель с 7 миллиардами параметров, построенную на основе архитектуры OLMo3-style. Модель реализует механизм блочного разреженного внимания, который обучает выбор блоков сквозным образом (end-to-end) через функцию потерь языкового моделирования.
Архитектура использует сжатые ключи блоков для оценки массы блока и факторизует внимание на межблочное и внутриблочное softmax, что позволяет проводить нативное разреженное обучение для эффективного моделирования длинного контекста. Чекпоинт дообучен на весах базовой модели OLMo3-7B и доступен через репозиторий Tencent-Hunyuan. Это предварительно обученная базовая модель без настройки выравнивания или безопасности, что означает, что она может отражать предвзятости, присутствующие в обучающей выборке.