Les chercheurs présentent Code-MUE, un cadre purement boîte noire qui quantifie l'incertitude des Code Large Language Models en analysant les Semantic Interaction Graphs basés sur l'exécution. Cette approche comble le fossé entre la syntaxe et la sémantique en ancrant l'incertitude dans le comportement observable du runtime plutôt que dans la similarité textuelle superficielle.
- Code-MUE calcule l'entropie de Von Neumann de l'espace des solutions pour quantifier la diversité sémantique globale.
- Il pallie la limite des méthodes existantes qui échouent à capturer la fragilité du code où la variation syntaxique n'implique pas de divergence sémantique.
- Le cadre est conçu pour fonctionner avec des modèles propriétaires (closed-source) où les techniques boîte blanche et grise sont inapplicables.
Une étude empirique à grande échelle sur huit LLM de pointe démontre que Code-MUE atteint une forte corrélation négative avec la correction fonctionnelle, surpassant significativement les bases lexicales et basées sur l'embedding.