Para penulis memperkenalkan WILDTRACE, sebuah benchmark baru yang dirancang untuk mengevaluasi seberapa baik model mengintegrasikan bukti yang tersebar secara alami di seluruh bagian jauh dalam dokumen panjang. Berbeda dengan benchmark yang ada yang menggunakan fakta tanam atau rantai rekayasa balik, WILDTRACE mengandalkan logika kausal, temporal, dan naratif internal sumber.
- Benchmark ini terdiri dari 481 tugas atas 214 sumber bentuk panjang yang terjadi secara alami, termasuk laporan insiden teknis dan narasi sastra.
- Ini mendefinisikan tujuh geometri bukti internal sumber untuk mengkarakterisasi tuntutan relasional dari pembacaan analitis.
- Sebuah pipeline konstruksi source-first menambang kandidat jejak dari struktur dokumen sebelum pertanyaan ditulis.
- Setiap item mengalami validasi multi-tahap yang mencakup kebutuhan petunjuk, dasar jawaban, kesetiaan rubrik, resistensi kontaminasi, dan kemampuan menjawab.
Karya ini mengatasi kesenjangan antara mengakses informasi dan bernalar atas bukti yang tersebar secara alami, yang diidentifikasi sebagai tantangan pendefinisian untuk penelitian konteks panjang.