LLM이 유지하는 709페이지 분량의 마크다운 위키를 대상으로 한 사전 등록된 아블레이션 연구는, 일괄 인덱스 대신 간결한 카탈로그와 한 줄 요약문을 사용하는 단계적 공개가 답변 품질을 유지하면서 비용을 절감할 수 있는지 검증합니다. 실험은 프로토콜 제약 에이전트, 자유 자기 라우팅 에이전트, 카탈로그 프리로드 레짐이라는 세 가지 접근 조건에 걸쳐 네 가지 코퍼스 버전을 비교합니다.
- 파일럿 연구는 유능한 도구 사용 에이전트가 인덱스를 완전히 우회하여 질문에서 직접 페이지 경로를 추론한다는 것을 밝혔습니다.
- 검색 아ーム의 답변 품질은 사전 등록된 마진 내에서 인덱스 기준선과 열등하지 않았습니다.
- 모든 레짐에서 비용이 크게 감소했습니다: 자기 라우팅 에이전트의 경우 약 3분의 1, 카탈로그 프리로드 하에서는 절반 이상 절감되었습니다.
- 이 절감은 더 표적화된 접근으로 인해 발생했으며, 검색 아람은 참조하는 페이지 수가 적고 도구 턴(turn)도 덜 필요했습니다.
이 연구는 단계적 공개가 품질을 희생하지 않고 비용을 낮출 수 있음을 보여주며, 동시에 타당성 위협에 대한 엄격한 규율을 통해 평가 타당성에 대한 사례 연구로도 기능합니다.