Les chercheurs introduisent GRAPHEVAL, un cadre basé sur les graphes qui reformule la quantification de l'incertitude (UQ) comme un problème de fidélité de raisonnement holistique pour pallier les défauts des stratégies de décodage standard telles que Self-Consistency. L'étude propose le Graph Reasoning Coherence Score (GRCS), une métrique qui quantifie le consensus sémantique-structurel et capture l'effondrement modal pathologique ainsi que les hallucinations confiantes.
- Le GRCS est identifié comme la seule métrique corrélée négativement de manière cohérente avec la fidélité du raisonnement, tant sur les modèles plus performants que sur les petits modèles.
- Le cadre introduit Graph Self-Consistency (GSC), une stratégie de décodage basée sur le médian qui opère un compromis entre précision nominale et fidélité du raisonnement.
- GSC révèle comment Self-Consistency est gonflé par des devinettes chanceuses non fidèles dans les petits modèles, tout en préservant ou améliorant la précision dans les modèles plus performants.
- L'ablation médiane adversaire démontre que le chemin sélectionné par GSC agit comme un « chemin porteur », où forcer les modèles à s'en écarter dégrade la fidélité du raisonnement et entraîne une baisse de précision.
Les auteurs considèrent cela important car cela fournit une méthode pour sélectionner un raisonnement plus fidèle par rapport au vote majoritaire naïf, révélant le degré de raisonnement non fidèle dans les méthodes d'évaluation standard.