Los investigadores presentan GRAPHEVAL, un marco basado en grafos que reformula la cuantificación de incertidumbre (UQ) como un problema de fidelidad de razonamiento holística para abordar las deficiencias en las estrategias de decodificación estándar como Self-Consistency. El estudio propone el Puntaje de Coherencia de Razonamiento en Grafos (GRCS), una métrica que cuantifica el consenso semántico-estructural y captura el colapso patológico de modos y las alucinaciones seguras.
- GRCS se identifica como la única métrica consistentemente correlacionada negativamente con la fidelidad del razonamiento tanto en modelos más capaces como en más pequeños.
- El marco introduce Graph Self-Consistency (GSC), una estrategia de decodificación basada en medoides que intercambia la precisión nominal por la fidelidad del razonamiento.
- GSC expone cómo Self-Consistency está inflada por adivinanzas suertes infieles en modelos más pequeños mientras preserva o mejora la precisión en los más capaces.
- La ablación adversaria de medoides demuestra que el camino seleccionado por GSC actúa como un "camino portante", donde forjar a los modelos a alejarse de él degrada la fidelidad del razonamiento y provoca caídas en la precisión.
Los autores consideran esto importante porque proporciona un método para seleccionar un razonamiento más fiel en comparación con el voto mayoritario ingenuo, revelando el grado de razonamiento infiel en los métodos de evaluación estándar.