Benchmark database kesehatan sintetis mendemonstrasikan bahwa mengoptimalkan representasi data, seperti menggunakan dokumen rollup dan pencarian Small-to-Big, secara signifikan mengungguli peningkatan RAG standar seperti penulisan ulang kueri dan reranking.
- Penulis membuat set evaluasi 30 pertanyaan atas pasien palsu, dokter, dan catatan tagihan untuk menguji berbagai teknik RAG.
- Pencarian vektor dasar mencapai skor jawaban 2.856/5, sementara menambahkan penulisan ulang kueri dan BGE reranking hanya meningkatkannya menjadi 3.056/5.
- Pencarian Small-to-Big (mencari chunk kecil lalu memperluas ke catatan lengkap) meningkatkan skor menjadi 4.044/5 dengan memberikan pencocokan presisi tanpa kelaparan konteks.
- Menambahkan dokumen rollup pra-hitung untuk agregat seperti beban janji temu dan total tagihan meningkatkan skor jawaban menjadi 4.622/5 dan skor pertanyaan sulit menjadi 4.500/5.
- Jalankan reranker Jina terakhir mencapai MRR pengambilan tertinggi di 0.792, tetapi pengaturan rollup memberikan kualitas jawaban keseluruhan terbaik.
Hasilnya menunjukkan bahwa kualitas RAG sering kali merupakan masalah representasi data daripada masalah model, menekankan perlunya menyelaraskan struktur dokumen dengan jenis kueri seperti pencarian tingkat entitas atau perhitungan agregat.