研究者らは、自己矛盾（Self-Consistency）などの標準的なデコーディング戦略の欠陥に対処するため、不確実性の定量化（UQ）を包括的な推論忠実度の問題として再構成するグラフベースのフレームワークであるGRAPHEVALを導入した。本研究は、意味的・構造的合意を定量化し、病的なモード崩壊と自信満々な幻覚を捉える指標であるGraph Reasoning Coherence Score (GRCS)を提案する。

  • GRCSは、より高性能なモデルと小規模なモデルの両方で推論忠実度と一貫して負の相関を示す唯一の指標として特定された。
  • このフレームワークは、ノミナル精度と推論忠実度のトレードオフをもたらすメドイドベースのデコーディング戦略であるGraph Self-Consistency (GSC)を導入する。
  • GSCは、小規模モデルにおいて自己矛盾が不忠実なラッキーギャンブルによって水増しされている一方で、より高性能なモデルでは精度を維持または向上させることを明らかにする。
  • 敵対的メドイドアブレーションにより、GSCが選択したパスが「荷重支持パス」として機能し、そこからモデルを外れるよう強制すると推論忠実度が低下し精度が落ちることが示された。

著者らはこれを重要視している。なぜなら、単純な多数派投票と比較してより忠実な推論を選択する方法を提供し、標準的な評価方法における不忠実な推論の程度を明らかにするからである。