Исследователи представляют CKTN, новый корпус и бенчмарк, разработанные для решения проблемы нехватки данных для языков этнических меньшинств Вьетнама: чам, кхмер и тай-нунг. Набор данных содержит 44 367 документов и 24 миллиона подсловных токенов, охватывая задачи продолжения предобучения, классификации категорий и поиска документа по аннотации.

  • Существующие многоязычные кодирователи сильно фрагментируют эти языки из-за различий в письменности и контакта с вьетнамским.
  • Обычные метрики адаптации могут быть обманчивыми, поскольку модели могут снижать потерю языкового моделирования, но терпеть неудачу при семантической обобщающей способности.
  • Авторы предлагают рецепт адаптации, учитывающий письменность, сочетающий расширение словаря с калиброванным предобучением на заменённых токенах.
  • Этот подход предотвращает использование дискриминатором тривиальных несовпадений письменности во время обучения.

Полученный кодирователь демонстрирует существенно меньшую фрагментацию и достигает наилучших результатов классификации среди оценённых моделей, подчеркивая ограничения поиска по лексическому пересечению как сигнала оценки.