Os autores apresentam o WILDTRACE, um novo benchmark projetado para avaliar quão bem os modelos integram evidências dispersas naturalmente por passagens distantes em documentos longos. Diferente dos benchmarks existentes que usam fatos plantados ou cadeias reengenheiradas, o WILDTRACE baseia-se na lógica causal, temporal e narrativa interna à fonte.
- O benchmark compreende 481 tarefas sobre 214 fontes longas de ocorrência natural, incluindo relatórios técnicos de incidentes e narrativas literárias.
- Ele define sete geometrias de evidência internas à fonte para caracterizar as demandas relacionais da leitura analítica.
- Um pipeline de construção com foco na fonte minera trilhas candidatas da estrutura do documento antes que as perguntas sejam escritas.
- Cada item passa por validação em múltiplas etapas, cobrindo necessidade de pistas, fundamentação da resposta, fidelidade à rubrica, resistência à contaminação e capacidade de resposta.
Este trabalho aborda a lacuna entre acessar informações e raciocinar sobre evidências naturalmente dispersas, identificada como um desafio definidor para a pesquisa de contexto longo.