Os autores apresentam o TRIAGE, um framework projetado para avaliar a confiabilidade de sistemas Graph-based Retrieval-Augmented Generation (Graph-RAG) que dependem de grafos de conhecimento construídos automaticamente. Diferente dos métodos de avaliação tradicionais que verificam apenas as saídas finais, o TRIAGE instrumenta três estágios distintos: Implementação do KG, Validação do KG por um especialista e Uso do KG.
- O framework anexa métricas específicas de cada estágio a cada fase, incluindo confiança de triplos e cobertura de fontes para implementação, qualidade estrutural em nível de grafo para validação, e cobertura de recuperação e fidelidade para uso.
- As métricas implantadas não requerem anotações de referência (gold annotations), enquanto aquelas que necessitam de referências servem apenas como calibração offline.
- Essas métricas formam uma cadeia de diagnóstico onde o primeiro elo quebrado localiza a falha em um estágio específico: extração, esquema do grafo ou recuperação.
Esta abordagem permite que os usuários identifiquem exatamente onde as falhas ocorrem no pipeline e apliquem remédios direcionados, em vez de apenas observar respostas finais incorretas.