Para penulis memperkenalkan WILDTRACE, sebuah benchmark baru yang dirancang untuk mengevaluasi seberapa baik model mengintegrasikan bukti yang tersebar di bagian-bagian jauh dalam dokumen panjang. Berbeda dengan benchmark yang ada yang mengandalkan fakta tanam atau rantai rekayasa balik, WILDTRACE menggunakan 481 tugas yang berasal dari 214 sumber alami, seperti laporan insiden teknis dan narasi sastra.
- Benchmark ini mendefinisikan tujuh geometri bukti internal-sumber berdasarkan logika kausal, temporal, dan naratif.
- Pipeline source-first menambang jejak kandidat dari struktur dokumen sebelum pertanyaan ditulis.
- Item-item mengalami validasi multi-tahap untuk kebutuhan petunjuk, dasar jawaban, kesetiaan rubrik, ketahanan kontaminasi, dan kemampuan menjawab.
Karya ini mengatasi kesenjangan antara mengakses informasi dan bernalar atas bukti yang tersebar secara alami, yang sangat penting untuk tugas analitis berisiko tinggi di dunia nyata.