Para peneliti memperkenalkan CKTN, sebuah korpus dan benchmark baru yang dirancang untuk mengatasi kelangkaan data untuk bahasa minoritas etnis Vietnam: Cham, Khmer, dan Tay-Nung. Dataset ini berisi 44.367 dokumen dan 24 juta token subkata, mencakup tugas pra-pelatihan berkelanjutan, klasifikasi kategori, dan pengambilan dokumen-ringkasan.
- Encoder multibahasa yang ada sangat memecah belah bahasa-bahasa ini karena perbedaan skrip dan kontak dengan bahasa Vietnam.
- Metrik adaptasi umum dapat menyesatkan, karena model mungkin menurunkan loss pemodelan bahasa sambil gagal dalam generalisasi semantik.
- Penulis mengusulkan resep adaptasi sadar skrip yang menggabungkan augmentasi kosakata dengan pra-pelatihan token pengganti yang dikalibrasi.
- Pendekatan ini mencegah diskriminator memanfaatkan ketidakcocokan skrip sepele selama pelatihan.
Encoder hasil menunjukkan fragmentasi yang jauh lebih sedikit dan mencapai kinerja klasifikasi terkuat di antara model-model yang dievaluasi, menyoroti keterbatasan pengambilan tumpang tindih leksikal sebagai sinyal evaluasi.