AB-RAG — это фреймворк, не требующий дообучения и независимый от архитектуры базовой модели, который динамически регулирует усилия по извлечению на основе оценки уверенности, полученной из определенности модели, согласия между ответом и доказательством, а также дисперсии оценок извлечения. Этот подход позволяет системам решать, следует ли прекратить поиск или извлечь больше доказательств в рамках фиксированного бюджета, без дообучения базовой языковой модели.
Оценщик уверенности объединяет три сигнала: прямую определенность модели (или приближение само-согласованности для закрытых API), согласие между сгенерированным ответом и извлеченным доказательством, а также дисперсию оценок извлечения. На наборе данных с фактоидными вопросами этот метод обеспечил четкое разделение: 57,6% против 0% точного совпадения (Exact Match) между ответами с высокой и низкой уверенностью. Адаптивная политика повышает точность на мощных базовых моделях, хотя в исследовании отмечается, что сигнал уверенности не подходит для коротких ответов.
Этот фреймворк представляет практическую ценность для коммерческих систем на основе API, оптимизируя использование вычислений и предоставляя сигналы доверия для сгенерированных ответов без необходимости дообучения модели или доступа к внутренним параметрам.