Los autores presentan WILDTRACE, un nuevo benchmark diseñado para evaluar qué tan bien los modelos integran evidencia dispersa a lo largo de pasajes distantes en documentos largos. A diferencia de los benchmarks existentes que dependen de hechos plantados o cadenas ingenierizadas inversamente, WILDTRACE utiliza 481 tareas derivadas de 214 fuentes de ocurrencia natural, como informes técnicos de incidentes y narrativas literarias.
- El benchmark define siete geometrías de evidencia internas a la fuente basadas en lógica causal, temporal y narrativa.
- Una pipeline source-first extrae rastros candidatos de la estructura del documento antes de que se escriban las preguntas.
- Los elementos pasan por una validación multietapa para necesidad de pistas, fundamentación de la respuesta, fidelidad al rúbrica, resistencia a la contaminación y capacidad de respuesta.
Este trabajo aborda la brecha entre acceder a información y razonar sobre evidencia naturalmente dispersa, lo cual es crítico para tareas analíticas del mundo real con altas consecuencias.