Исследователи представляют GRAPHEVAL, основанный на графах фреймворк, который переосмысливает количественную оценку неопределённости (UQ) как проблему целостной достоверности рассуждений для устранения недостатков стандартных стратегий декодирования, таких как Self-Consistency. В исследовании предлагается показатель согласованности графовых рассуждений (GRCS), метрика, которая количественно оценивает семантическо-структурное согласие и фиксирует патологический коллапс режимов и уверенные галлюцинации.
- GRCS выявлен как единственная метрика, последовательно имеющая отрицательную корреляцию с достоверностью рассуждений как для более мощных, так и для меньших моделей.
- Фреймворк вводит Graph Self-Consistency (GSC), стратегию декодирования на основе медиоидов, которая жертвует номинальной точностью ради достоверности рассуждений.
- GSC демонстрирует, как Self-Consistency завышается из-за ненадёжных удачных догадок в меньших моделях, одновременно сохраняя или улучшая точность в более мощных.
- Атака на медиоиды показывает, что путь, выбранный GSC, действует как «несущий путь», где принудительное отклонение моделей от него ухудшает достоверность рассуждений и приводит к падению точности.
Авторы считают это важным, поскольку метод позволяет выбирать более достоверные рассуждения по сравнению с наивным голосованием большинства, раскрывая степень ненадёжных рассуждений в стандартных методах оценки.