著者らは、WILDTRACEという新しいベンチマークを紹介する。これは、モデルが長いドキュメント内の遠く離れた段落に分散された証拠をどのように統合するかを評価するために設計されている。既存の植えられた事実やリバースエンジニアリングされた連鎖に依存するベンチマークとは異なり、WILDTRACEは技術的なインシデントレポートや文学的ナラティブなどの214の自然発生的なソースから派生した481のタスクを使用している。

  • ベンチマークは、因果、時間、および物語の論理に基づいた7つのソース内部証拠ジオメトリーを定義する。
  • ソースファーストのパイプラインは、質問が書かれる前にドキュメント構造から候補経路を採掘する。
  • アイテムは、手がかりの必要性、回答の根拠付け、ルールの忠実度、コンタミネーション耐性、および回答可能性のための多段階検証を受ける。

この取り組みは、情報へのアクセスと自然に分散された証拠の推論との間のギャップを解消し、現実世界の高リスクな分析タスクにとって重要である。