Авторы представляют WILDTRACE, новый бенчмарк, предназначенный для оценки того, насколько хорошо модели интегрируют доказательства, естественно распределённые по удалённым фрагментам в длинных документах. В отличие от существующих бенчмарков, использующих внедрённые факты или реконструированные цепочки, WILDTRACE опирается на внутреннюю для источника причинную, временную и нарративную логику.
- Бенчмарк включает 481 задачу по 214 естественно возникшим длинным источникам, включая технические отчёты об инцидентах и литературные повествования.
- Он определяет семь внутренних для источника геометрий доказательств для характеристики реляционных требований аналитического чтения.
- Конвейер построения с приоритетом источника извлекает кандидатные цепочки из структуры документа до написания вопросов.
- Каждый элемент проходит многоэтапную валидацию, охватывающую необходимость подсказки, обоснованность ответа, соответствие рубрике, устойчивость к загрязнению и возможность ответа.
Эта работа устраняет разрыв между доступом к информации и рассуждением над естественно распределёнными доказательствами, что определяется как определяющая проблема для исследований длинного контекста.