يقدم الباحثون CKTN، وهو مجموعة بيانات ومعيار جديد صُمما لمعالجة ندرة البيانات للغات الأقليات العرقية في فيتنام: تشام، وكمير، وتاي-نونغ. تحتوي المجموعة على 44,367 مستندًا و24 مليون رمز فرعي (subword token)، وتغطي مهام التدريب المسبق المستمر، وتصنيف الفئات، واسترجاع المستندات والملخصات.
- تقوم المشفرات متعددة اللغات الحالية بتفتيت هذه اللغات بشدة بسبب اختلاف الخطوط والاتصال مع اللغة الفيتنامية.
- يمكن أن تكون مقاييس التكيف الشائعة مضللة، حيث قد تخفض النماذج فقدان نمذجة اللغة مع فشلها في التعميم الدلالي.
- يقترح المؤلفون وصفة تكيف واعية للخط تجمع بين زيادة المفردات والتدريب المسبق للرموز المستبدلة المُعايرة.
- يمنع هذا النهج المميز من استغلال عدم تطابق الخطوط البسيطة أثناء التدريب.
يُظهر المشفر الناتج تفتيتًا أقل بكثير ويحقق أقوى أداء في التصنيف بين النماذج التي تم تقييمها، مما يسلط الضوء على قيود الاسترجاع القائم على التداخل المعجمي كإشارة للتقييم.