실증 연구가 RAG 지표를 인간 주석원과 비교 평가

이 논문은 여러 Retrieval-Augmented Generation (RAG) 지표의 관련성을 평가하는 실증 연구를 보고합니다. 실험에서는 비즈니스 데이터로부터 인간 주석원이 생성한 질문-답변 데이터셋이 사용되었습니다.

• 생성된 응답과 검색된 스팬은 Ragas, DeepEval, RAGChecker, Opik의 네 가지 라이브러리에서 제공된 평가 지표를 사용하여 점수화되었습니다.
• 이러한 점수는 두 명의 인간 평가자가 부여한 평점 및 recall과 같은 표준 지표와 비교되었습니다.
• 이 연구는 자동화된 지표와 인간 평가 간의 상관관계를 분석했습니다.
• 저자들은 자신의 방법론의 한계를 강조하고 기존 문헌과 비교하며 향후 연구 방향을 제안합니다.

이 작업은 프랑스어권 워크숍 EvalLLM (Brabant, 2026)에서 처음 발표된 논문의 영어 번역본입니다.