लेखकों ने एपिस्टेमिक असिमेट्री शेल्डिंग टास्क (EAST) पेश किया, जो एक दो-खिलाड़ी संवाद खेल है जिसे बड़े भाषा मॉडलों में मजबूत और सामान्यीकरण योग्य माइंड थ्योरी (ToM) क्षमताओं का बेंचमार्क करने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण पारंपरिक टेक्स्ट-आधारित मूल्यांकन की सीमाओं को संबोधित करता है, जैसे कि सैली-एन टास्क, जिसे प्री-ट्रेनिंग एक्सपोजर के कारण गेम किया जा सकता है।
- EAST को LLM-LLM डायड्स से अज्ञानता की पारदर्शिता की विभिन्न स्थितियों के तहत स्वतंत्र रूप से सेमैंटिक शेल्डिंग पॉइंट्स पर कन्वर्ज करने की आवश्यकता होती है।
- अध्ययन में कार्यात्मक सामाजिक तर्क में एक महत्वपूर्ण क्षमता अंतर का खुलासा हुआ है, जिसमें केवल फ्रंटियर मॉडल ही सफलतापूर्वक कार्यों को नेविगेट कर पाए हैं।
- विश्लेषण से पता चलता है कि समन्वय विफलताएं मुख्य रूप से एपिस्टेमिक ट्रैकिंग त्रुटियों द्वारा संचालित होती हैं, जैसे कि निजी ज्ञान को आपसी ज्ञान के साथ भ्रमित करना।
निष्कर्ष संकेत देते हैं कि पारंपरिक स्थिर बेंचमार्क्स पर उच्च प्रदर्शन के बावजूद, मजबूत सामाजिक तर्क और एपिस्टेमिक ट्रैकिंग भविष्य के LLM मूल्यांकन और विकास के लिए महत्वपूर्ण बाधाएं बनी हुई हैं।