यह पेपर Retrieval-Augmented Generation (RAG) मेट्रिक्स की प्रासंगिकता का मूल्यांकन करने वाले एक अनुभवजन्य अध्ययन की रिपोर्ट देता है। प्रयोग में व्यापार डेटा से मानव टिप्पणीकारों द्वारा बनाए गए प्रश्न-उत्तर डेटासेट का उपयोग किया गया है।
- उत्पन्न उत्तरों और पुनर्प्राप्त स्पैन को चार लाइब्रेरीज: Ragas, DeepEval, RAGChecker, और Opik से मूल्यांकन मेट्रिक्स का उपयोग करके स्कोर दिया गया था।
- इन स्कोर्स की तुलना दो मानव मूल्यांककर्ताओं द्वारा दिए गए रेटिंग्स के साथ, जैसे कि recall जैसी मानक मेट्रिक्स से की गई थी।
- अध्ययन स्वचालित मेट्रिक्स और मानव मूल्यांकनों के बीच सहसंबंध का विश्लेषण करता है।
- लेखकों ने अपनी विधि की सीमाओं को उजागर किया, इसे मौजूदा साहित्य से तुलना की, और भविष्य के शोध के लिए मार्ग सुझाए।
यह कार्य मूल रूप से फ्रेंच-भाषी वर्कशॉप EvalLLM (Brabant, 2026) में प्रकाशित एक पेपर का अंग्रेजी अनुवाद है।