Авторы представляют WILDTRACE, новый бенчмарк, предназначенный для оценки того, насколько хорошо модели интегрируют доказательства, разбросанные по удалённым фрагментам в длинных документах. В отличие от существующих бенчмарков, которые опираются на внедрённые факты или реконструированные цепочки, WILDTRACE использует 481 задачу, полученных из 214 естественно возникших источников, таких как технические отчёты об инцидентах и литературные повествования.
- Бенчмарк определяет семь внутренних для источника геометрий доказательств на основе причинно-следственной, временной и нарративной логики.
- Конвейер source-first извлекает кандидатные цепочки из структуры документа до написания вопросов.
- Элементы проходят многоступенчатую валидацию на необходимость подсказок, обоснованность ответа, соответствие рубрикам, устойчивость к загрязнению данных и возможность ответа.
Эта работа устраняет разрыв между доступом к информации и рассуждением над естественно разбросанными доказательствами, что критически важно для реальных аналитических задач с высокими ставками.