研究人员提出了关联循环记忆 Transformer（ARMT），以在大型语言模型中实现长上下文处理，同时保持恒定的内存缩放并提高效率。

  • 该工作引入了两个特定领域的长上下文数据集，用于评估现实中的窄领域微调场景。
  • 提供了一套全面的训练方案，结合持续预训练、合成数据生成、课程学习以及将关联记忆选择性集成到模型特定层中。
  • 经过 ARMT 增强的模型能够在远超原始上下文限制的情况下处理输入，且性能不会相对于限定内的基线模型下降。
  • 该方法对分布外（out-of-distribution）的上下文长度具有更有效的泛化能力。
  • 在保持原始上下文窗口内基线性能的同时，模型所需的 FLOPs 减少了 30%。

此方法使 LLM 能够高效处理更长的输入，解决了标准 Transformer 的二次计算和线性内存缩放限制。