शोधकर्ता बड़े भाषा मॉडलों में अर्थवत एम्बेडिंग्स के आइगेनवैल्यू को कैलिब्रेट करने के लिए एक नया ढांचा प्रस्तावित करते हैं, जिसमें पारंपरिक वर्गीकरण कैलिब्रेशन विधियों के लागू न होने की खाई को दूर किया जाता है। यह दृष्टिकोण अर्थवत एम्बेडिंग्स वाले LLMs को घनत्व मैट्रिक्स पूर्वानुमानक मानता है और उनके आइगेनवैल्यू पर तापमान स्केलिंग लागू करता है।
- अर्थवत एम्बेडिंग्स के साथ संयुक्त LLMs को घनत्व मैट्रिक्स पूर्वानुमानक के रूप में व्याख्या करता है।
- कैलिब्रेशन के लिए आइगेनवैल्यू पर तापमान स्केलिंग लागू करता है।
- कैलिब्रेशन के तहत एन्ट्रापी-जोखिम समतुल्यता स्थापित करता है।
- आइगेनवैल्यू के लिए विशिष्ट एक केंद्रीय कैलिब्रेशन असमिका व्युत्पन्न करता है।
- सिद्ध करता है कि उचित स्कोर जोखिमों को न्यूनतम करते समय तापमान-स्केल्ड आइगेनवैल्यू कैलिब्रेशन को अनुकूलित करते हैं।
वास्तविक दुनिया की सेटिंग्स पर प्रयोग दिखाते हैं कि वर्तमान LLMs व्यवस्थित रूप से अत्यधिक आत्मविश्वासी हैं, जो सैद्धांतिक निष्कर्षों की पुष्टि करते हैं और अर्थवत एम्बेडिंग्स के लिए अनिश्चितता मात्रांकन को आगे बढ़ाते हैं।