Para penulis memperkenalkan TRIAGE, sebuah kerangka kerja yang dirancang untuk mengevaluasi keandalan sistem Retrieval-Augmented Generation berbasis Graf (Graph-RAG) yang mengandalkan graf pengetahuan yang dibangun secara otomatis. Berbeda dengan metode evaluasi tradisional yang hanya memeriksa output akhir, TRIAGE menginstrumentasikan tiga tahap yang berbeda: KG Implementation, KG Validation by expert, dan KG Usage.
- Kerangka kerja ini melampirkan metrik spesifik per tahap ke setiap fase, termasuk kepercayaan triplet dan cakupan sumber untuk implementasi, kualitas struktural tingkat graf untuk validasi, serta cakupan pengambilan dan kesetiaan untuk penggunaan.
- Metrik yang diterapkan tidak memerlukan anotasi gold, sementara metrik yang membutuhkan referensi hanya berfungsi sebagai kalibrasi offline.
- Metrik-metrik ini membentuk rantai diagnostik di mana tautan pertama yang rusak melokalisasi kegagalan ke tahap tertentu: ekstraksi, skema graf, atau pengambilan.
Pendekatan ini memungkinkan pengguna untuk mengidentifikasi secara tepat di mana kegagalan terjadi dalam pipa dan menerapkan perbaikan yang ditargetkan daripada hanya mengamati jawaban akhir yang salah.