В данной статье представлено эмпирическое исследование, оценивающее релевантность нескольких метрик Retrieval-Augmented Generation (RAG). Эксперимент использует набор данных для вопросов и ответов, созданный человеческими аннотаторами на основе бизнес-данных.
- Сгенерированные ответы и извлеченные фрагменты оценивались с помощью метрик оценки из четырех библиотек: Ragas, DeepEval, RAGChecker и Opik.
- Эти оценки сравнивались с рейтингами, данными двумя человеческими оценщиками, а также со стандартными метриками, такими как recall.
- В исследовании проводится анализ корреляций между автоматическими метриками и человеческими оценками.
- Авторы подчеркивают ограничения своей методологии, сравнивают ее с существующей литературой и предлагают направления для будущих исследований.
Эта работа является английским переводом статьи, изначально опубликованной на французском рабочем совещании EvalLLM (Brabant, 2026).