Los autores presentan WILDTRACE, un nuevo benchmark diseñado para evaluar qué tan bien los modelos integran evidencia dispersa naturalmente a través de pasajes distantes en documentos largos. A diferencia de los benchmarks existentes que utilizan hechos plantados o cadenas ingenierizadas inversamente, WILDTRACE se basa en la lógica causal, temporal y narrativa interna a la fuente.
- El benchmark comprende 481 tareas sobre 214 fuentes largas de ocurrencia natural, incluyendo informes técnicos de incidentes y narrativas literarias.
- Define siete geometrías de evidencia internas a la fuente para caracterizar las demandas relacionales de la lectura analítica.
- Una pipeline de construcción centrada en la fuente extrae rastros candidatos de la estructura del documento antes de que se escriban las preguntas.
- Cada elemento pasa por una validación multietapa que cubre la necesidad de pistas, fundamentación de la respuesta, fidelidad a la rúbrica, resistencia a la contaminación y capacidad de respuesta.
Este trabajo aborda la brecha entre acceder a información y razonar sobre evidencia naturalmente dispersa, lo cual se identifica como un desafío definitorio para la investigación de contexto largo.