Code-MUE mede a incerteza de LLMs de código por meio de grafos semânticos baseados em execução

Pesquisadores apresentam o Code-MUE, um framework puramente black-box que quantifica a incerteza de Modelos de Linguagem Grande (LLM) de código analisando Grafos de Interação Semântica baseados na execução. Esta abordagem preenche a lacuna entre sintaxe e semântica ao fundamentar a incerteza no comportamento observável em tempo de execução, em vez da similaridade textual superficial.

• O Code-MUE calcula a entropia de Von Neumann do espaço de soluções para quantificar a diversidade semântica global.
• Ele aborda a limitação dos métodos existentes que falham em capturar a fragilidade do código onde a variação sintática não implica divergência semântica.
• O framework é projetado para funcionar com modelos de fonte fechada onde técnicas white-box e grey-box são inaplicáveis.

Um estudo empírico em larga escala em oito LLMs state-of-the-art demonstra que o Code-MUE alcança uma forte correlação negativa com a correção funcional, superando significativamente as linhas de base baseadas em léxico e embeddings.