Cet article rapporte une étude empirique évaluant la pertinence de plusieurs métriques de Retrieval-Augmented Generation (RAG). L'expérience utilise un jeu de données de questions-réponses créé par des annotateurs humains à partir de données commerciales.
- Les réponses générées et les extraits récupérés ont été notés à l'aide de métriques d'évaluation issues de quatre bibliothèques : Ragas, DeepEval, RAGChecker et Opik.
- Ces scores ont été comparés aux notes attribuées par deux évaluateurs humains ainsi qu'à des métriques standard telles que le recall.
- L'étude réalise une analyse des corrélations entre les métriques automatisées et les évaluations humaines.
- Les auteurs soulignent les limites de leur méthodologie, la comparent à la littérature existante et suggèrent des pistes pour la recherche future.
Ce travail est une traduction en anglais d'un article initialement publié lors de l'atelier francophone EvalLLM (Brabant, 2026).