Sebuah studi mengusulkan metodologi untuk menyempurnakan sistem Retrieval Augmented Generation (RAG) dengan mengintegrasikan mekanisme umpan balik tambahan yang memanfaatkan input yang dihasilkan oleh manusia. Pendekatan ini bertujuan untuk meningkatkan akurasi dan relevansi respons melalui pembelajaran berkelanjutan dan iteratif yang didorong oleh keterlibatan pengguna.
- Sistem ini memanfaatkan implementasi human-in-the-loop di mana umpan dikumpulkan, diklasifikasikan, dan diintegrasikan ke dalam alur kerja inferensi.
- Efektivitasnya divalidasi terhadap tiga dataset benchmark beragam yang berfokus pada pengetahuan domain umum dan khusus.
- Evaluasi menggunakan strategi LLM-as-a-Judge untuk menilai peningkatan kinerja.
Kerangka kerja ini menyoroti potensi peningkatan berbasis umpan balik dalam teknologi pengambilan informasi adaptif.