लेखकों ने TRIAGE पेश किया है, एक फ्रेमवर्क जो स्वचालित रूप से निर्मित ज्ञान ग्राफ पर निर्भर Graph-based Retrieval-Augmented Generation (Graph-RAG) प्रणालियों की विश्वसनीयता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। पारंपरिक मूल्यांकन विधियों के विपरीत जो केवल अंतिम आउटपुट की जाँच करते हैं, TRIAGE तीन अलग-अलग चरणों में इंस्ट्रुमेंटेशन लगाता है: KG कार्यान्वयन, विशेषज्ञ द्वारा KG सत्यापन और KG उपयोग।
- फ्रेमवर्क प्रत्येक चरण को विशिष्ट चरण-विशिष्ट मेट्रिक्स से जोड़ता है, जिसमें कार्यान्वयन के लिए ट्रिपल आत्मविश्वास और स्रोत कवरेज, सत्यापन के लिए ग्राफ-स्तर संरचनात्मक गुणवत्ता, और उपयोग के लिए रीट्रीवल कवरेज और विश्वसनीयता शामिल है।
- तैनात मेट्रिक्स को गोल्ड एनोटेशन की आवश्यकता नहीं है, जबकि वे जो संदर्भों की आवश्यकता रखते हैं केवल ऑफलाइन कैलिब्रेशन के रूप में कार्य करते हैं।
- ये मेट्रिक्स एक निदान श्रृंखला बनाते हैं जहाँ पहला टूटा हुआ लिंक विफलता को एक विशिष्ट चरण तक सीमित करता है: एक्सट्रैक्शन, ग्राफ स्कीमा या रीट्रीवल।
यह दृष्टिकोण उपयोगकर्ताओं को पाइपलाइन में विफलताओं के ठीक कहाँ होने की पहचान करने और केवल गलत अंतिम उत्तरों को देखने के बजाय लक्षित उपाय लागू करने की अनुमति देता है।