Авторы представляют TRIAGE, фреймворк, предназначенный для оценки надёжности систем Graph-based Retrieval-Augmented Generation (Graph-RAG), использующих автоматически построенные графы знаний. В отличие от традиционных методов оценки, проверяющих только конечные результаты, TRIAGE внедряет инструментацию на трёх различных этапах: реализация KG, валидация KG экспертом и использование KG.
- Фреймворк привязывает метрики, специфичные для каждого этапа, к соответствующей фазе, включая уверенность триплетов и покрытие источников для реализации, структурное качество уровня графа для валидации, а также покрытие извлечения и достоверность для использования.
- Развёрнутые метрики не требуют золотых аннотаций, тогда как те, что нуждаются в ссылках, служат только для офлайн-калибровки.
- Эти метрики образуют диагностическую цепь, где первый сломанный элемент локализует сбой на конкретном этапе: извлечение, схема графа или извлечение информации.
Этот подход позволяет пользователям точно определять место возникновения сбоев в конвейере и применять целенаправленные меры, а не просто наблюдать за неверными конечными ответами.