研究人员提出了自引导测试时训练(S-TTT),以解决在大型语言模型中利用长输入的难度,其中在随机片段上进行的标准测试时训练往往会因噪声而降低性能。
该方法通过让模型在适应之前识别上下文中的相关证据片段,仅将训练目标应用于这些选定的片段来实现。这种方法避免了全上下文训练的高昂成本,同时减轻了不相关数据的负面影响。
在 LongBench-v2 和 LongBench-Pro 基准测试中,S-TTT 提高了 Qwen3-4B-Thinking-2507 和 Llama-3.1-8B-Instruct 的准确性,实现了高达 15% 的相对提升。