저자들은 WILDTRACE를 소개합니다. 이는 모델이 긴 문서 내에서 멀리 떨어진 단락에 자연스럽게 분산된 증거를 얼마나 잘 통합하는지 평가하기 위해 설계된 새로운 벤치마크입니다. 기존 벤치마크가 심어진 사실이나 역공학된 체인을 사용하는 것과 달리, WILDTRACE는 소스 내부의 인과적, 시간적, 서사적 논리에 의존합니다.
- 이 벤치마크에는 기술적 사고 보고서와 문학적 내러티브를 포함한 214개의 자연 발생 장문 출처에 걸친 481개의 작업이 포함되어 있습니다.
- 분석적 읽기의 관계적 요구를 특징짓기 위해 7가지 소스 내부 증거 기하학을 정의합니다.
- 소스 우선 구축 파이프라인은 질문이 작성되기 전에 문서 구조에서 후보 경로를 마이닝합니다.
- 각 항목은 단서 필요성, 답변 근거화, 규칙 충실도, 오염 저항성 및 답변 가능성을 다루는 다단계 검증을 거칩니다.
이 작업은 정보 접근과 자연스럽게 분산된 증거에 대한 추론 사이의 격차를 해결하며, 이는 긴 문맥 연구의 정의된 과제로 식별됩니다.