作者介绍了 TRIAGE，这是一个旨在评估基于图的检索增强生成（Graph-based Retrieval-Augmented Generation, Graph-RAG）系统可信度的框架，这些系统依赖于自动构建的知识图谱。与仅检查最终输出的传统评估方法不同，TRIAGE 对三个不同的阶段进行了工具化：KG 实现、专家 KG 验证和 KG 使用。

  • 该框架将特定于阶段的指标附加到每个阶段，包括用于实现的三元组置信度和来源覆盖率、用于验证的图级结构质量，以及用于使用的检索覆盖率和忠实度。
  • 部署的指标不需要黄金标注（gold annotations），而那些需要参考信息的指标仅作为离线校准使用。
  • 这些指标形成了一条诊断链，其中第一个断裂点将故障定位到特定阶段：提取、图谱模式或检索。

这种方法允许用户精确识别管道中故障发生的位置，并应用针对性的补救措施，而不仅仅是观察不正确的最终答案。