Este artigo relata um estudo empírico avaliando a relevância de várias métricas de Geração Aumentada por Recuperação (RAG). O experimento utiliza um conjunto de dados de perguntas e respostas criado por anotadores humanos a partir de dados empresariais.

  • As respostas geradas e os trechos recuperados foram pontuados usando métricas de avaliação de quatro bibliotecas: Ragas, DeepEval, RAGChecker e Opik.
  • Essas pontuações foram comparadas com as avaliações dadas por dois avaliadores humanos, bem como com métricas padrão, como recall.
  • O estudo conduz uma análise das correlações entre as métricas automatizadas e as avaliações humanas.
  • Os autores destacam as limitações de sua metodologia, a comparam com a literatura existente e sugerem caminhos para pesquisas futuras.

Este trabalho é uma tradução em inglês de um artigo originalmente publicado no workshop francófono EvalLLM (Brabant, 2026).