研究人员推出了 GRAPHEVAL，这是一个基于图的框架，将不确定性量化（UQ）重新定义为整体推理保真度问题，以解决自洽性（Self-Consistency）等标准解码策略的缺陷。该研究提出了图推理一致性分数（GRCS），这是一种量化语义-结构共识并捕捉病态模式崩溃和自信幻觉的指标。

  • GRCS 被确定为在更强大模型和较小模型中均与推理保真度持续呈负相关关系的唯一指标。
  • 该框架引入了基于中位数的解码策略图自洽性（GSC），以牺牲名义准确性为代价换取推理保真度。
  • GSC 揭示了自洽性在较小模型中被不忠实的幸运猜测所夸大，同时在更强大的模型中保持或提高了准确性。
  • 对抗性中位数消融实验表明，GSC 选择的路径充当“承重路径”，强制模型偏离该路径会降低推理保真度并导致准确率下降。

作者认为这很重要，因为它提供了一种比朴素多数投票选择更忠实推理的方法，揭示了标准评估方法中不忠实推理的程度。