शोधकर्ताओं ने SPANUQ पेश किया, एक हल्का प्रोब जो LLM छिपी अवस्थाओं पर मल्टी-सैंपल इनफरेंस से अनिश्चितता ज्ञान को डिस्टिल करके स्पैन-लेवल अनिश्चितता अनुमान (SLUE) करता है। विधि DETR-शैली स्पैन डिकोडर का उपयोग करते हुए मिक्सचर ऑफ बीटा वितरण के माध्यम से एक ही फॉरवर्ड पास में स्पैन को एक साथ डिटेक्ट और उनकी अनिश्चितता का अनुमान लगाती है।
- SPANUQ-BENCH पहला स्पैन-लेवल अनिश्चितता बेंचमार्क है, जिसमें 20K प्रॉम्प्ट्स, 293K एनोटेटेड स्पैन और मल्टी-सैंपल दावे सत्यापन से व्युत्पन्न निरंतर सॉफ्ट लेबल्स शामिल हैं।
- पांच LLM बैकबोन पर प्रयोग दिखाते हैं कि SPANUQ लगातार सर्वश्रेष्ठ स्पैन-लेवल अनिश्चितता गुणवत्ता प्राप्त करता है, सबसे मजबूत प्रोब बेलाइन और सभी सैंपलिंग-आधारित विधियों को 10-20x तेज होते हुए पार कर जाता है।
- इसका DETR-आधारित स्पैन डिटेक्टर 0.910 F1 प्राप्त करता है, सर्वश्रेष्ठ हीरिस्टिक से 39.4% बेहतर है, जो सीक्वेंस-लेवल विधियां नहीं दे सकने वाली सटीक त्रुटि स्थानीयकरण को सक्षम बनाता है।
फ्रेमवर्क दो मॉडल परिवारों में फैले पांच LLMs पर सामान्यीकृत होता है, टोकन-लेवल और सीक्वेंस-लेवल अनिश्चितता स्कोर की सीमाओं को दूर करता है।