يقدم المؤلفون TRIAGE، وهو إطار عمل مصمم لتقييم موثوقية أنظمة التوليد المعزز بالاسترجاع القائمة على الرسوم البيانية (Graph-RAG) التي تعتمد على رسوم بيانية للمعرفة تم بناؤها تلقائيًا. وعلى عكس طرق التقييم التقليدية التي تتحقق فقط من المخرجات النهائية، يقوم TRIAGE بقياس ثلاث مراحل مميزة: KG Implementation، وKG Validation by expert، وKG Usage.
- يربط الإطار مقاييس خاصة بكل مرحلة لكل مرحلة، بما في ذلك ثقة الثلاثي وتغطية المصدر للتنفيذ، وجودة الهيكل على مستوى الرسم البياني للتحقق، وتغطية الاسترجاع والوفاء للاستخدام.
- لا تتطلب المقاييس المنتشرة تسميات gold، بينما تلك التي تحتاج إلى مراجع تخدم فقط المعايرة غير المتصلة بالإنترنت.
- تشكل هذه المقاييس سلسلة تشخيصية حيث يحدد الرابط الأول المكسور الفشل في مرحلة محددة: الاستخراج، أو مخطط الرسم البياني، أو الاسترجاع.
يتيح هذا النهج للمستخدمين تحديد مكان حدوث الأعطال بدقة في خط الأنابيب وتطبيق علاجات مستهدفة بدلاً من مجرد مراقبة الإجابات النهائية الخاطئة.