Los investigadores presentan CKTN, un nuevo corpus y benchmark diseñado para abordar la escasez de datos para las lenguas de minorías étnicas de Vietnam: cham, jemer y tay-nung. El conjunto de datos contiene 44 367 documentos y 24 millones de tokens de subpalabra, cubriendo tareas de preentrenamiento continuo, clasificación de categorías y recuperación de documento-resumen.
- Los codificadores multilingües existentes fragmentan severamente estas lenguas debido a las diferencias en la escritura y el contacto con el vietnamita.
- Las métricas de adaptación comunes pueden ser engañosas, ya que los modelos pueden reducir la pérdida de modelado del lenguaje mientras fallan en la generalización semántica.
- Los autores proponen una receta de adaptación consciente de la escritura que combina la augmentación del vocabulario con el preentrenamiento de tokens reemplazados calibrados.
- Este enfoque evita que el discriminador explote las discrepancias triviales de escritura durante el entrenamiento.
El codificador resultante demuestra una fragmentación sustancialmente menor y logra el mejor rendimiento de clasificación entre los modelos evaluados, destacando las limitaciones de la recuperación por superposición léxica como señal de evaluación.