Makalah ini melaporkan studi empiris yang mengevaluasi relevansi beberapa metrik Retrieval-Augmented Generation (RAG). Eksperimen menggunakan dataset pertanyaan-jawaban yang dibuat oleh anotator manusia dari data bisnis.
- Respons yang dihasilkan dan rentang yang diambil diberi skor menggunakan metrik evaluasi dari empat pustaka: Ragas, DeepEval, RAGChecker, dan Opik.
- Skor-skor ini dibandingkan dengan peringkat yang diberikan oleh dua evaluator manusia serta metrik standar seperti recall.
- Studi ini melakukan analisis korelasi antara metrik otomatis dan evaluasi manusia.
- Para penulis menyoroti keterbatasan metodologi mereka, membandingkannya dengan literatur yang ada, dan menyarankan arah untuk penelitian di masa depan.
Karya ini adalah terjemahan bahasa Inggris dari makalah yang awalnya diterbitkan dalam lokakarya berbahasa Prancis EvalLLM (Brabant, 2026).