研究人员推出了 Code-MUE，这是一个纯黑盒框架，通过分析基于执行的语义交互图来量化代码大语言模型 (Code LLM) 的不确定性。这种方法通过将不确定性建立在可观察的运行时行为之上，而非表面的文本相似性，从而弥合了语法与语义之间的差距。
- Code-MUE 计算解空间的冯·诺依曼熵，以量化全局语义多样性。
- 它解决了现有方法的局限性，即无法捕捉代码的脆弱性，其中语法变化并不意味着语义分歧。
- 该框架旨在适用于闭源模型，在这些模型中白盒和灰盒技术不适用。
对八种最先进的 LLM 进行的大规模实证研究表明，Code-MUE 与功能正确性呈现出强烈的负相关，显著优于基于词汇和嵌入的基线方法。