शोधकर्ताओं ने GRAPHEVAL पेश किया, जो एक ग्राफ-आधारित ढांचा है जो मानक डिकोडिंग रणनीतियों जैसे कि सेल्फ-कंसिस्टेंसी में दोषों को दूर करने के लिए अनिश्चितता परिमाणीकरण (UQ) को एक समग्र तर्क विश्वसनीयता समस्या के रूप में पुनः परिभाषित करता है। अध्ययन ने ग्राफ रीजनिंग कोहेरेंस स्कोर (GRCS) का प्रस्ताव रखा, जो अर्थ-संरचनात्मक सहमति को परिमाणात्मक रूप देता है और पथोलॉजिकल मोड कॉलाप्स व आत्मविश्वासी हैलुसिनेशन को पकड़ता है।
- GRCS को अधिक सक्षम और छोटे दोनों मॉडलों में तर्क विश्वसनीयता के साथ लगातार नकारात्मक रूप से सहसंबद्ध एकमात्र मापदंड के रूप में पहचाना गया है।
- इस ढांचे ने ग्राफ सेल्फ-कंसिस्टेंसी (GSC) पेश किया, जो एक मेडोय-आधारित डिकोडिंग रणनीति है जो नाममात्र सटीकता को तर्क विश्वसनीयता के लिए समर्पित करती है।
- GSC यह उजागर करता है कि छोटे मॉडलों में सेल्फ-कंसिस्टेंसी अविश्वसनीय भाग्यशाली अनुमानों द्वारा बढ़ाया जाता है, जबकि अधिक सक्षम मॉडलों में सटीकता को बनाए रखती या सुधारती है।
- विरोधाभासी मेडोय एब्लेशन दिखाता है कि GSC-चयनित पथ एक "भार वहन पथ" के रूप में कार्य करता है, जहाँ मॉडलों को उससे दूर धकेलने से तर्क विश्वसनीयता खराब होती है और सटीकता में गिरावट आती है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह नैव माजॉरिटी वोटिंग की तुलना में अधिक विश्वसनीय तर्क चुनने की विधि प्रदान करता है, जो मानक मूल्यांकन पद्धतियों में अविश्वसनीय तर्क की मात्रा को उजागर करता है।