Para peneliti memperkenalkan Code-MUE, sebuah kerangka kerja murni black-box yang mengkuantifikasi ketidakpastian Code Large Language Models dengan menganalisis Semantic Interaction Graphs berbasis eksekusi. Pendekatan ini menjembatani kesenjangan antara sintaks dan semantik dengan mendasarkan ketidakpastian pada perilaku runtime yang dapat diamati daripada kesamaan teks permukaan.

  • Code-MUE menghitung entropi Von Neumann dari ruang solusi untuk mengkuantifikasi keragaman semantik global.
  • Metode ini mengatasi keterbatasan metode yang ada yang gagal menangkap kerapuhan kode di mana variasi sintaksis tidak menyiratkan divergensi semantik.
  • Kerangka kerja ini dirancang agar dapat bekerja dengan model closed-source di mana teknik white-box dan grey-box tidak berlaku.

Sebuah studi empiris skala besar pada delapan LLM state-of-the-art menunjukkan bahwa Code-MUE mencapai korelasi negatif yang kuat dengan kebenaran fungsional, secara signifikan mengungguli baseline berbasis leksikal dan embedding.