著者らは、WILDTRACEを新たに導入しました。これは、モデルが長いドキュメント内で遠く離れた段落に自然に分散された証拠をいかに統合できるかを評価するために設計された新しいベンチマークです。既存のベンチマークが植え付けられた事実やリバースエンジニアリングされたチェーンを使用するのとは異なり、WILDTRACEはソース内部の因果的、時間的、および物語的な論理に依存しています。

  • このベンチマークには、技術的なインシデントレポートや文学的ナラティブを含む、214の自然発生する長形式ソースにわたる481のタスクが含まれています。
  • 分析的読書における関係的要因を特徴づけるために、7つのソース内部証拠ジオメトリを定義しています。
  • ソースファーストな構築パイプラインは、質問が作成される前にドキュメント構造から候補となる経路をマイニングします。
  • 各アイテムは、手がかりの必要性、回答の根拠性、ルールの忠実度、汚染耐性、および回答可能性をカバーする多段階検証を受けます。

この取り組みは、情報へのアクセスと自然に分散された証拠に関する推論との間のギャップに対処しており、これは長文コンテキスト研究における定義された課題として特定されています。