Исследователи разработали фреймворк обучения по программе с учётом тона для шести южнобантуийских языков, чтобы решить проблему высоких показателей ошибки слов при нулевом опыте (WER) современных базовых моделей ASR. Подход сочетает гибридное оценивание сложности, гейтированные адаптеры, управляемые тональной статистикой, и поэтапное обучение по программе на корпусе данных сообщества.

  • W2V-BERT с учётом тона достиг средней ошибки слов 28,41% по всем наборам данных и 23,79% при переносе на язык xitsonga.
  • W2V-BERT превзошёл Whisper на 3–4 пункта по ошибке слов на языках нгуньи, тогда как Whisper показал лучшие результаты на языках сото-тсвана.
  • Ни одна модель не подошла для всех шести языков, что указывает на необходимость подбора модели для каждого языка с валидацией по корпусам данных.

Исследование выявляет чёткое взаимодействие между архитектурой и языком, предполагая, что эффективное развёртывание требует выбора конкретных моделей для каждого языка, а не reliance на универсальное решение.