腾讯发布了 HiLS-Attention-7B 检查点，这是一个基于 OLMo3-style 骨干网络的 70 亿参数模型。该模型实现了一种分块稀疏注意力机制，在语言建模损失下端到端地学习分块选择。

该架构使用压缩的分块键来估计分块质量，并将注意力分解为分块间和分块内的 softmax，从而实现原生稀疏训练，以高效地进行长上下文建模。 该检查点是在基础 OLMo3-7B 权重上继续训练的，可通过 Tencent-Hunyuan 仓库获取。 这是一个未经对齐或安全调整的预训练基础模型，意味着它可能反映出训练语料库中存在的偏见。