研究者らは、チャム語、クメール語、タインン語というベトナムの少数民族言語のデータ不足に対処するために設計された新しいコーパスおよびベンチマークであるCKTNを紹介している。このデータセットは44,367文書と2400万サブワードトークンを含み、継続的事前トレーニング、カテゴリ分類、要約-文書検索タスクをカバーしている。

  • 既存の多言語エンコーダーは、文字の違いやベトナム語との接触により、これらの言語を深刻に断片化させている。
  • 一般的な適応指標は誤解を招く可能性があり、モデルが言語モデリング損失を低下させても意味的な一般化には失敗する可能性がある。
  • 著者らは、語彙の拡張と較正されたトークン置換事前トレーニングを組み合わせた文字認識適応レシピを提案している。
  • このアプローチは、トレーニング中に判別子が自明な文字の不整合を利用することを防ぐ。

結果として得られたエンコーダーは、断片化が大幅に少なく、評価されたモデルの中で最も強力な分類性能を達成し、評価指標としての語彙一致検索の限界を浮き彫りにしている。