Pesquisadores apresentam o CKTN, um novo corpus e benchmark projetado para abordar a escassez de dados para as línguas das minorias étnicas do Vietnã: cham, khmer e tay-nung. O conjunto de dados contém 44.367 documentos e 24 milhões de tokens de subpalavra, cobrindo tarefas de pré-treinamento contínuo, classificação de categorias e recuperação de documento-resumo.
- Os codificadores multilíngues existentes fragmentam severamente essas línguas devido às diferenças na escrita e ao contato com o vietnamita.
- Métricas comuns de adaptação podem ser enganosas, pois os modelos podem reduzir a perda de modelagem de linguagem enquanto falham na generalização semântica.
- Os autores propõem uma receita de adaptação consciente da escrita que combina aumento de vocabulário com pré-treinamento de tokens substituídos calibrados.
- Esta abordagem impede que o discriminador explore incompatibilidades triviais de escrita durante o treinamento.
O codificador resultante demonstra fragmentação substancialmente menor e alcança o melhor desempenho de classificação entre os modelos avaliados, destacando as limitações da recuperação por sobreposição léxica como sinal de avaliação.