연구자들은 Code-MUE를 소개했습니다. 이는 순수한 블랙박스 프레임워크로, 실행 기반 Semantic Interaction Graphs를 분석하여 Code Large Language Models의 불확실성을 정량화합니다. 이 접근 방식은 표면적인 텍스트 유사성이 아닌 관측 가능한 런타임 동작에 불확실성을 근거로 함으로써 구문과 의미론 간의 격차를 해소합니다.
- Code-MUE는 전역 의미적 다양성을 정량화하기 위해 해 공간의 Von Neumann 엔트로피를 계산합니다.
- 구문적 변화가 의미적 분기를 반드시 나타내지 않는 코드의 취약성을 포착하지 못하는 기존 방법의 한계를 해결합니다.
- 이 프레임워크는 화이트박스 및 그레이박스 기법이 적용 불가능한 클로즈드 소스 모델과 작동하도록 설계되었습니다.
8개의 최첨단 LLM에 걸친 대규모 실증 연구는 Code-MUE가 기능적 정확성과 강한 음의 상관관계를 보이며, 어휘 및 임베딩 기반 베이스라인을 크게 능가함을 보여줍니다.