本研究は、トランザクション型法的文書の分析において、フルコーパスのインジェクションと2つの構造化された検索モード(埋め込み検索(NAVEMBED)およびコンパクトなインデックス上でのLLMナビゲーション(NAVINDEX))を比較した。20問からなるベンチマークにおいて、両方の検索方法はインジェクションとセマンティック精度で同点となり、トークン使用量を大幅に削減した。
- NAVEMBEDは18の文書固有質問のうち16問でインジェクションと同等の性能を示し、入力トークンを17.3分の1に抑えた。
- NAVINDEXは全18問でインジェクションと同等の性能を示し、総トークンフットプリントは1.61分の1、回答に必要なコンテキストは約56分の1となった。
- NAVINDEXはインジェクションベースラインと比較して25%のコスト削減を実現した。
著者らは、キャッシュのクロスオーバーに関する閉じた形の規則を導出し、コーパスが検索ペイロードのおよそ10倍以下の場合にのみ、キャッシュされたインジェクションの方が安価であると指摘している。