Les auteurs présentent WILDTRACE, un nouveau benchmark conçu pour évaluer la capacité des modèles à intégrer des preuves dispersées dans des passages éloignés au sein de longs documents. Contrairement aux benchmarks existants qui s'appuient sur des faits plantés ou des chaînes rétro-ingéniérées, WILDTRACE utilise 481 tâches dérivées de 214 sources naturelles telles que des rapports d'incidents techniques et des récits littéraires.
- Le benchmark définit sept géométries de preuves internes à la source basées sur la logique causale, temporelle et narrative.
- Un pipeline source-first extrait les traces candidates de la structure du document avant la rédaction des questions.
- Les éléments subissent une validation multi-étapes pour la nécessité des indices, l'ancrage des réponses, la fidélité aux rubriques, la résistance à la contamination et la capacité de réponse.
Ce travail comble le fossé entre l'accès à l'information et le raisonnement sur des preuves naturellement dispersées, ce qui est crucial pour les tâches analytiques réelles à haut risque.