Une étude propose une méthodologie pour affiner les systèmes Retrieval Augmented Generation (RAG) en intégrant un mécanisme de feedback auxiliaire qui exploite les entrées générées par les humains. Cette approche vise à améliorer la précision et la pertinence des réponses grâce à un apprentissage continu et itératif piloté par l'engagement des utilisateurs.
- Le système utilise une implémentation human-in-the-loop où le feedback est collecté, classé et intégré dans le workflow d'inférence.
- L'efficacité a été validée contre trois ensembles de données de benchmark diversifiés axés sur les connaissances générales et personnalisées.
- L'évaluation a employé une stratégie LLM-as-a-Judge pour évaluer les améliorations de performance.
Le cadre met en évidence le potentiel des améliorations pilotées par le feedback dans les technologies de récupération d'informations adaptatives.