शोधकर्ताओं ने CKTN पेश किया है, एक नया कांपस और बेंचमार्क जो वियतनाम की नस्लीय अल्पसंख्यक भाषाओं: चाम, ख्मेर और ताय-नुंग के लिए डेटा की कमी को दूर करने के लिए डिज़ाइन किया गया है। डेटासेट में 44,367 दस्तावेज और 24 मिलियन सबवर्ड टोकन शामिल हैं, जो निरंतर प्रीट्रेनिंग, श्रेणी वर्गीकरण और सारांश-दस्तावेज़ पुनर्प्राप्ति कार्यों को कवर करते हैं।
- मौजूदा बहुभाषी एन्कोडर्स लिपि के अंतर और वियतनामी संपर्क के कारण इन भाषाओं को गंभीर रूप से विखंडित करते हैं।
- सामान्य अनुकूलन मेट्रिक्स भ्रामक हो सकते हैं, क्योंकि मॉडल भाषा-मॉडलिंग न्यूकरण कम कर सकते हैं जबकि अर्थवैज्ञानिक सामान्यीकरण में विफल रहते हैं।
- लेखकों ने लिपि-जागरूक अनुकूलन रेसिपी प्रस्तावित की है जो शब्दावली वृद्धि को कैलिब्रेटेड रिप्लेस्ड-टोकन प्रीट्रेनिंग के साथ जोड़ती है।
- यह दृष्टिकोण प्रशिक्षण के दौरान डिस्क्रिमिनेटर को त्रivial लिपि असंगतियों का लाभ उठाने से रोकता है।
परिणामी एन्कोडर महत्वपूर्ण रूप से कम विखंडन दिखाता है और मूल्यांकित मॉडलों में सबसे मजबूत वर्गीकरण प्रदर्शन प्राप्त करता है, जो एक मूल्यांकन संकेत के रूप में शब्दावली-ओवरलैप पुनर्प्राप्ति की सीमाओं को उजागर करता है।