Este artículo presenta un estudio empírico que evalúa la relevancia de varias métricas de Generación Aumentada por Recuperación (RAG). El experimento utiliza un conjunto de datos de preguntas y respuestas creado por anotadores humanos a partir de datos empresariales.
- Las respuestas generadas y los fragmentos recuperados fueron puntuados utilizando métricas de evaluación de cuatro bibliotecas: Ragas, DeepEval, RAGChecker y Opik.
- Estas puntuaciones se compararon con las calificaciones dadas por dos evaluadores humanos, así como con métricas estándar como recall.
- El estudio realiza un análisis de correlaciones entre las métricas automatizadas y las evaluaciones humanas.
- Los autores destacan las limitaciones de su metodología, la comparan con la literatura existente y sugieren vías para futuras investigaciones.
Este trabajo es una traducción al inglés de un artículo originalmente publicado en el taller francófono EvalLLM (Brabant, 2026).