Los autores presentan TRIAGE, un marco diseñado para evaluar la confiabilidad de los sistemas Graph-based Retrieval-Augmented Generation (Graph-RAG) que dependen de grafos de conocimiento construidos automáticamente. A diferencia de los métodos de evaluación tradicionales que solo verifican las salidas finales, TRIAGE instrumenta tres etapas distintas: Implementación de KG, Validación de KG por un experto y Uso de KG.
- El marco adjunta métricas específicas de cada etapa a cada fase, incluyendo confianza de triples y cobertura de fuentes para la implementación, calidad estructural a nivel de grafo para la validación, y cobertura de recuperación y fidelidad para el uso.
- Las métricas implementadas no requieren anotaciones de referencia (gold annotations), mientras que aquellas que necesitan referencias sirven únicamente como calibración fuera de línea.
- Estas métricas forman una cadena de diagnóstico donde el primer eslabón roto localiza el fallo en una etapa específica: extracción, esquema del grafo o recuperación.
Este enfoque permite a los usuarios identificar exactamente dónde ocurren los fallos en la tubería y aplicar remedios específicos en lugar de simplemente observar respuestas finales incorrectas.