Los investigadores presentan Code-MUE, un marco de caja negra puro que cuantifica la incertidumbre de los Modelos de Lenguaje Grande (LLM) de código analizando Grafos de Interacción Semántica basados en la ejecución. Este enfoque cierra la brecha entre la sintaxis y la semántica al fundamentar la incertidumbre en el comportamiento observable en tiempo de ejecución en lugar de la similitud textual superficial.
- Code-MUE calcula la entropía de Von Neumann del espacio de soluciones para cuantificar la diversidad semántica global.
- Aborda la limitación de los métodos existentes que no logran capturar la fragilidad del código donde la variación sintáctica no implica divergencia semántica.
- El marco está diseñado para funcionar con modelos de fuente cerrada donde las técnicas de caja blanca y gris son inaplicables.
Un estudio empírico a gran escala en ocho LLMs de última generación demuestra que Code-MUE logra una fuerte correlación negativa con la corrección funcional, superando significativamente a las líneas base basadas en léxico y embebidos.