作者推出了WILDTRACE，这是一个新基准，旨在评估模型在长文档中跨遥远段落自然分散的证据整合能力。与使用植入事实或逆向工程链条的现有基准不同，WILDTRACE依赖于源内因果、时间和叙事逻辑。

  • 该基准包含214个自然发生的长文本来源上的481项任务，包括技术事故报告文学叙事。
  • 它定义了七种源内证据几何结构，以表征分析性阅读的关系需求。
  • 一种源优先的构建流水线在编写问题之前从文档结构中挖掘候选证据链。
  • 每个项目都经过多阶段验证，涵盖线索必要性、答案依据、评分标准符合度、防污染性和可回答性。

这项工作解决了访问信息与对自然分散证据进行推理之间的差距，这被确定为长上下文研究的一项定义性挑战。