研究人员提出了自引导测试时训练（S-TTT），该方法通过在适应之前让模型识别相关证据片段来改善长上下文利用。这种方法解决了将测试时训练应用于完整或随机采样上下文时的高成本和噪声问题。

  • S-TTT 选择特定的证据片段进行参数适应，而不是使用完整上下文或随机样本。
  • 标准语言建模目标仅应用于这些选定的片段，以避免降低基础模型的性能。
  • 在 LongBench-v2 和 LongBench-Pro 上，S-TTT 将 Qwen3-4B-Thinking-2507 和 Llama-3.1-8B-Instruct 的准确率提高了高达 15% 的相对提升。