研究人员提出了 ReContext，这是一种免训练的推理方法，通过在模型内部注意力机制中递归重放相关证据来增强长上下文推理能力。

  • 该方法使用模型内部的相似度信号构建查询条件化的证据池，并在最终生成之前重放该证据池，同时保留完整的原始上下文。
  • 这种方法将证据组织与答案生成分离开来，无需训练、外部记忆或上下文剪枝。
  • 在八个长上下文数据集上进行的实验（上下文长度为128K）显示，Qwen3-4B、Qwen3-8B 和 Llama3-8B 骨干网络均取得了持续的性能提升。
  • 该技术通过有效利用输入中已存在的证据，在所有三个测试模型上实现了最佳平均排名。

ReContext 解决了上下文访问与有效利用之间的差距，使 LLM 能够在没有额外训练开销的情况下更好地利用长输入进行推理任务。