Les chercheurs présentent CKTN, un nouveau corpus et benchmark conçu pour pallier la pénurie de données pour les langues minoritaires du Vietnam : le cham, le khmer et le tay-nung. Le jeu de données contient 44 367 documents et 24 millions de tokens sous-motiques, couvrant des tâches de pré-entraînement continu, de classification par catégorie et de récupération résumé-document.

  • Les encodeurs multilingues existants fragmentent sévèrement ces langues en raison des différences d'écriture et du contact avec le vietnamien.
  • Les métriques d'adaptation courantes peuvent être trompeuses, car les modèles peuvent réduire la perte de modélisation linguistique tout en échouant à la généralisation sémantique.
  • Les auteurs proposent une recette d'adaptation sensible à l'écriture, combinant l'augmentation du vocabulaire avec un pré-entraînement sur des tokens remplacés calibrés.
  • Cette approche empêche le discriminateur d'exploiter les incohérences d'écriture triviales pendant l'entraînement.

L'encodeur résultant démontre une fragmentation nettement moindre et atteint la meilleure performance de classification parmi les modèles évalués, mettant en lumière les limites du signal d'évaluation basé sur la récupération par chevauchement lexical.