Пререгистрированное абляционное исследование на вики-странице объемом 709 страниц в формате markdown, поддерживаемой LLM, проверяет, снижает ли прогрессивное раскрытие информации — использование компактного каталога и однострочных резюме вместо монолитного индекса — затраты при сохранении качества ответов. Эксперимент сравнивает четыре версии корпуса в трех условиях доступа: агент с ограниченным протоколом, свободный агент с самостоятельной маршрутизацией и режим предварительной загрузки каталога.
- Пилотное исследование показало, что способные агенты, использующие инструменты, часто полностью обходят индекс, напрямую выводя пути к страницам из вопросов.
- Качество ответов в компоненте поиска не уступало базовому уровню индекса в пределах пререгистрированного допуска.
- Затраты значительно снизились во всех режимах: примерно на треть для агента с самостоятельной маршрутизацией и более чем вдвое при предварительной загрузке каталога.
- Экономия обусловлена более целенаправленным доступом, при этом компонент поиска ссылается на меньшее количество страниц и требует меньше шагов вызова инструментов.
Исследование демонстрирует, что прогрессивное раскрытие информации может снижать затраты без ущерба для качества, а также служит примером исследования валидности оценки через дисциплину управления угрозами валидности.