Les auteurs présentent WILDTRACE, un nouveau benchmark conçu pour évaluer la capacité des modèles à intégrer des preuves dispersées naturellement entre des passages éloignés dans de longs documents. Contrairement aux benchmarks existants qui utilisent des faits plantés ou des chaînes rétro-ingénierisées, WILDTRACE s'appuie sur la logique causale, temporelle et narrative interne à la source.
- Le benchmark comprend 481 tâches réparties sur 214 sources de forme longue d'occurrence naturelle, y compris des rapports d'incidents techniques et des récits littéraires.
- Il définit sept géométries de preuves internes à la source pour caractériser les exigences relationnelles de la lecture analytique.
- Un pipeline de construction source-first extrait des candidats de traces depuis la structure du document avant l'écriture des questions.
- Chaque élément subit une validation multi-étages couvrant la nécessité des indices, l'ancrage des réponses, la fidélité aux rubriques, la résistance à la contamination et la capacité à répondre.
Ce travail comble le fossé entre l'accès à l'information et le raisonnement sur des preuves naturellement dispersées, identifié comme un défi déterminant pour la recherche sur les contextes longs.