शोधकर्ता पूर्व-प्रशिक्षित कोड मॉडलों के अवशिष्ट प्रवाहों का पड़ताल करते हैं ताकि यह समझ सकें कि वे आंतरिक रूप से प्रकार जानकारी को कैसे एन्कोड करते हैं, जिसमें Java और Python कोड उदाहरणों का एक समानांतर डेटासेट उपयोग किया जाता है।
- टाइप किए गए कोड से भी क्रॉस-लिंगुअल प्रकार निरूपण उत्पन्न होते हैं।
- छिपे हुए अवस्थाएं टाइप किए गए फंक्शन एप्लिकेशन द्वारा सुझाए गए परिणाम के प्रकार को रैखिक रूप से एन्कोड करती हैं, जिससे एक भाषा पर प्रशिक्षित प्रोब्स दूसरी भाषा में तर्क और परिणाम के प्रकार का अनुमान लगा सकते हैं।
- यह संरचनात्मक एन्कोडिंग लेक्सिकल विक्षोभों और क्रॉस-लिंगुअल व्याकरणिक भिन्नताओं के लिए आंशिक रूप से मजबूत है।
यह कार्य प्रत्यक्ष रूप से औपचारिक प्रकार अर्थशास्त्र और क्रॉस-लिंगुअल प्रकार निरूपण को लक्षित करके व्याख्यात्मकता शोध में एक खाली जगह को भरता है, जिसमें कोड और डेटासेट जारी किए गए हैं।