A Tencent lançou o checkpoint HiLS-Attention-7B, um modelo de 7 bilhões de parâmetros construído sobre uma arquitetura OLMo3-style. O modelo implementa um mecanismo de atenção esparsa por chunk que aprende a seleção de chunks end-to-end sob a perda de modelagem de linguagem.
A arquitetura utiliza chaves de chunk comprimidas para estimar a massa do chunk e fatoriza a atenção em softmax inter-chunk e intra-chunk, permitindo treinamento esparso nativo para modelagem eficiente de contexto longo. O checkpoint é continuado-treinado a partir dos pesos base OLMo3-7B e está disponível via repositório Tencent-Hunyuan. Este é um modelo base pré-treinado sem ajuste de alinhamento ou segurança, o que significa que pode refletir vieses presentes no corpus de treinamento.