Les auteurs présentent TRIAGE, un cadre conçu pour évaluer la fiabilité des systèmes de Génération Augmentée par Récupération basés sur des graphes (Graph-RAG) qui s'appuient sur des graphes de connaissances construits automatiquement. Contrairement aux méthodes d'évaluation traditionnelles qui ne vérifient que les sorties finales, TRIAGE instrumente trois étapes distinctes : KG Implementation, KG Validation by expert et KG Usage.
- Le cadre attache des métriques spécifiques à chaque phase, y compris la confiance des triplets et la couverture des sources pour l'implémentation, la qualité structurelle au niveau du graphe pour la validation, et la couverture de récupération et la fidélité pour l'utilisation.
- Les métriques déployées ne nécessitent pas d'annotations gold, tandis que celles qui nécessitent des références servent uniquement à l'étalonnage hors ligne.
- Ces métriques forment une chaîne de diagnostic où le premier maillon cassé localise l'échec à une étape spécifique : extraction, schéma de graphe ou récupération.
Cette approche permet aux utilisateurs d'identifier exactement où les échecs se produisent dans le pipeline et d'appliquer des remèdes ciblés plutôt que de simplement observer des réponses finales incorrectes.