शोधकर्ताओं ने Code-MUE पेश किया, एक पूर्ण रूप से ब्लैक-बॉक्स फ्रेमवर्क जो निष्पादन-आधारित अर्थपूर्ण इंटरैक्शन ग्राफ़ का विश्लेषण करके कोड लार्ज लैंग्वेज मॉडल्स (Code LLM) की अनिश्चितता को मात्रात्मक रूप से प्रस्तुत करता है। यह दृष्टिकोण सिंटैक्स और अर्थ के बीच की खाई को पाटता है, अनिश्चितता को सतही पाठ्य समानता के बजाय देखे जा सकने वाले रनटाइम व्यवहार में आधारित करके।
- Code-MUE वैश्विक अर्थपूर्ण विविधता को मात्रात्मक रूप से प्रस्तुत करने के लिए समाधान स्थान की वॉन न्यूमैन एंट्रॉपी की गणना करता है।
- यह मौजूदा तरीकों की सीमा को संबोधित करता है जो कोड की नाजुकता को पकड़ने में विफल रहते हैं, जहाँ सिंटैटिक विविधता का अर्थ अर्थपूर्ण विचलन नहीं होता है।
- फ्रेमवर्क को बंद-स्रोत मॉडल्स के साथ काम करने के लिए डिज़ाइन किया गया है जहाँ व्हाइट और ग्रे-बॉक्स तकनीकें अनुपयुक्त हैं।
आठ सबसे आधुनिक LLMs पर एक बड़े पैमाने पर प्रायोगिक अध्ययन दिखाता है कि Code-MUE कार्यात्मक सटीकता के साथ एक मजबूत नकारात्मक सहसंबंध प्राप्त करता है, लेक्सिकल और एम्बेडिंग-आधारित बेलाइनों का महत्वपूर्ण रूप से प्रदर्शन करता है।