NAVINDEX menyamai injeksi pada dokumen hukum dengan konteks 56x lebih kecil dan biaya 25% lebih rendah

Sebuah studi membandingkan injeksi korpus penuh terhadap dua mode pengambilan terstruktur untuk menganalisis dokumen hukum transaksional: pengambilan embedding (NAVEMBED) dan navigasi LLM di atas indeks kompak (NAVINDEX). Pada benchmark 20 pertanyaan, kedua metode pengambilan menyamai injeksi dalam akurasi semantik sambil secara signifikan mengurangi penggunaan token.

• NAVEMBED menyamai injeksi pada 16 dari 18 pertanyaan yang terkait dokumen sambil memperhatikan 17,3x lebih sedikit token input.
• NAVINDEX menyamai injeksi pada semua 18 pertanyaan dengan jejak token total 1,61x lebih kecil dan konteks jawaban sekitar 56x lebih kecil.
• NAVINDEX mencapai biaya dolar 25% lebih rendah dibandingkan baseline injeksi.

Para penulis menurunkan aturan persilangan cache bentuk tertutup, mencatat bahwa injeksi yang di-cache hanya lebih murah ketika korpus tetap berada di bawah sekitar sepuluh kali payload pengambilan.