本論文は、複数のRetrieval-Augmented Generation (RAG)指標の関連性を評価する実証研究について報告している。実験では、ビジネスデータから人間のアノテーターによって作成された質問応答データセットが使用された。

  • 生成された応答と取得されたスパンは、Ragas、DeepEval、RAGChecker、Opikの4つのライブラリからの評価指標を用いてスコアリングされた。
  • これらのスコアは、2人の人間評価者による評価およびrecallなどの標準的な指標と比較された。
  • 本研究は、自動化された指標と人間評価との相関関係の分析を実施した。
  • 著者は自らの方法論の限界を強調し、既存の文献と比較し、将来の研究への道筋を示唆している。

この研究は、フランス語圏のワークショップEvalLLM（Brabant、2026年）で最初に発表された論文の英語訳である。