Pesquisadores apresentam o GRAPHEVAL, um framework baseado em grafos que reformula a quantificação de incerteza (UQ) como um problema de fidelidade de raciocínio holística para abordar falhas nas estratégias de decodificação padrão, como Self-Consistency. O estudo propõe o Graph Reasoning Coherence Score (GRCS), uma métrica que quantifica o consenso semântico-estrutural e captura colapso patológico de modos e alucinações confiantes.
- GRCS é identificado como a única métrica consistentemente negativamente correlacionada com a fidelidade do raciocínio em modelos mais capazes e menores.
- O framework introduz o Graph Self-Consistency (GSC), uma estratégia de decodificação baseada em medoide que troca a precisão nominal pela fidelidade do raciocínio.
- GSC expõe como o Self-Consistency é inflado por palpites sortudos não fiéis em modelos menores, enquanto preserva ou melhora a precisão nos mais capazes.
- A ablação adversarial de medoides demonstra que o caminho selecionado pelo GSC atua como um "caminho estrutural", onde forçar os modelos a se afastarem dele degrada a fidelidade do raciocínio e causa quedas na precisão.
Os autores consideram isso importante porque fornece um método para selecionar raciocínios mais fiéis em comparação à votação majoritária ingênua, revelando o grau de raciocínio não fiel nos métodos de avaliação padrão.