저자들은 자동 구축된 지식 그래프에 의존하는 Graph 기반 Retrieval-Augmented Generation (Graph-RAG) 시스템의 신뢰성을 평가하기 위해 설계된 프레임워크인 TRIAGE를 소개합니다. 최종 출력만 확인하는 전통적인 평가 방법과 달리, TRIAGE는 세 가지 명확한 단계에 계측을 적용합니다: KG Implementation, KG Validation by expert, 그리고 KG Usage.

  • 이 프레임워크는 각フェ이즈에 단계별 고유 지표를 부착합니다. 여기에는 구현 단계의 triple confidence 및 source coverage, 검증 단계의 graph-level structural quality, 사용 단계의 retrieval coverage 및 faithfulness가 포함됩니다.
  • 배포된 지표는 gold annotations이 필요하지 않으며, 참조가 필요한 지표는 오프라인 보정을 위해만 사용됩니다.
  • 이러한 지표들은 진단 체인을 형성하며, 첫 번째 broken link가 실패를 특정 단계(추출, 그래프 스키마 또는 검색)로 국소화합니다.

이 접근 방식을 통해 사용자는 파이프라인에서 실패가 정확히 어디서 발생하는지 식별하고, 잘못된 최종 답변을 관찰하는 것뿐만 아니라 표적화된 해결책을 적용할 수 있습니다.