Os autores apresentam o WILDTRACE, um novo benchmark projetado para avaliar quão bem os modelos integram evidências dispersas ao longo de passagens distantes em documentos longos. Diferente dos benchmarks existentes que dependem de fatos plantados ou cadeias reengenheiradas, o WILDTRACE utiliza 481 tarefas derivadas de 214 fontes de ocorrência natural, como relatórios técnicos de incidentes e narrativas literárias.
- O benchmark define sete geometrias de evidência internas à fonte com base em lógica causal, temporal e narrativa.
- Um pipeline source-first minera trilhas candidatas da estrutura do documento antes que as perguntas sejam escritas.
- Os itens passam por validação multietapa para necessidade de pistas, fundamentação da resposta, fidelidade ao rúbrica, resistência à contaminação e capacidade de resposta.
Este trabalho aborda a lacuna entre acessar informações e raciocinar sobre evidências naturalmente dispersas, o que é crítico para tarefas analíticas do mundo real com altas consequências.