研究者らは、Code-MUEを提案した。これは純粋なブラックボックスフレームワークであり、実行ベースのSemantic Interaction Graphs（相互作用グラフ）を分析することで、Code Large Language Modelsの不確実性を定量化する。このアプローチは、表面的なテキスト類似性ではなく、観測可能なランタイム動作に不確実性を根ざさせることで、構文と意味論の間のギャップを埋める。

  • Code-MUEは、グローバルな意味的多様性を定量化するために、解空間のVon Neumannエントロピーを計算する。
  • 構文変化が意味の分岐を必ずしも示さないというコードの脆弱性を捉えることができない既存の方法の限界に対処する。
  • このフレームワークは、ホワイトボックスやグレーボックス手法が適用できないクローズドソースモデルと動作するように設計されている。

8つの最先端LLMにわたる大規模な実証研究により、Code-MUEが機能的正解性に対して強い負の相関を示し、レキシカルおよび埋め込みベースのベースラインを大幅に上回ることが示された。