研究人员提出了分层地标稀疏 (HiLS) Attention，这是一种分块稀疏机制，在语言建模损失下端到端地学习分块选择，以解决密集注意力的二次方成本和长度外推能力差的问题。

  • HiLS 对注意力进行分层分解，允许每个查询独立提取特定分块的信息，然后根据检索分数融合输出。
  • 该方法直接使用 LM 损失优化检索分数，实现了原生稀疏训练，避免了不准确的分块选择。
  • HiLS-Attention 在 90% 的检索准确率下，外推能力超过训练上下文长度的 64 倍，在长上下文场景中优于全注意力机制。
  • 现有的全注意力模型可以通过轻量级继续预训练转换为 HiLS-Attention，在保持域内性能的同时获得超长上下文能力。

HiLS-Attention 通过结合稀疏 KV 访问和卓越的外推能力，打破了通常的效率与性能的权衡，使得长上下文 LLM 比其全注意力对应模型更高效且更有效。