한 연구는 인간이 생성한 입력을 활용하는 보조 피드백 메커니즘을 통합하여 Retrieval Augmented Generation (RAG) 시스템을 정제하는 방법론을 제안합니다. 이 접근 방식은 사용자 참여에 의해 구동되는 지속적이고 반복적인 학습을 통해 응답의 정확성과 관련성을 향상시키는 것을 목표로 합니다.
- 이 시스템은 피드백이 수집, 분류 및 추론 워크플로우에 통합되는 Human-in-the-loop 구현을 활용합니다.
- 효과성은 일반 및 맞춤형 도메인 지식에 중점을 둔 세 가지 다양한 벤치마크 데이터셋에 대해 검증되었습니다.
- 성능 개선을 평가하기 위해 LLM-as-a-Judge 전략이 사용되었습니다.
이 프레임워크는 적응형 정보 검색 기술에서 피드백 기반 강화의 잠재력을 강조합니다.