저자들은 WILDTRACE라는 새로운 벤치마크를 소개합니다. 이는 모델이 긴 문서의 멀리 떨어진 단락에 흩어진 증거를 얼마나 잘 통합하는지 평가하기 위해 설계되었습니다. 심어진 사실이나 역공학된 체인에 의존하는 기존 벤치마크와 달리, WILDTRACE는 기술적 사고 보고서 및 문학적 내러티브 등 214개의 자연 발생 소스에서 파생된 481개의 작업을 사용합니다.
- 이 벤치마크는 인과관계, 시간적, 서사적 논리를 기반으로 한 7가지 소스 내부 증거 기하학을 정의합니다.
- 소스 퍼스트 파이프라인은 질문이 작성되기 전에 문서 구조에서 후보 경로를 마이닝합니다.
- 항목은 단서 필요성, 답변 근거화, 규칙 충실도, 오염 저항성 및 답변 가능성을 위한 다단계 검증을 거칩니다.
이 작업은 정보 접근과 자연적으로 흩어진 증거에 대한 추론 사이의 격차를 해소하며, 이는 현실 세계의 고위험 분석 작업에 중요합니다.