研究人员推出了 CKTN，这是一个新的语料库和基准测试，旨在解决越南少数民族语言（占族语、高棉语和泰-农语）数据稀缺的问题。该数据集包含 44,367 份文档和 2400 万个子词 token，涵盖持续预训练、类别分类和摘要-文档检索任务。

  • 现有的多语种编码器由于书写系统差异以及与越南语的接触，严重碎片化了这些语言。
  • 常见的适配指标可能会产生误导，因为模型可能在降低语言建模损失的同时，却在语义泛化方面失败。
  • 作者提出了一种感知书写系统的适配方案，将词汇增强与校准过的替换 token 预训练相结合。
  • 这种方法防止了判别器在训练期间利用琐碎的书写系统不匹配问题。

结果产生的编码器展示了显著减少的碎片化，并在评估的模型中实现了最强的分类性能，突显了作为评估信号的词法重叠检索的局限性。