Исследование оценивает целесообразность перевода неанглоязычных данных на английский язык для дообучения существующих моделей BERT, предлагая ресурсосберегающую альтернативу разработке моделей на родном языке. Исследование сравнивает этот подход с производительностью на родном языке в шести задачах NLP с использованием наборов данных из болгарского, китайского, голландского, итальянского и русского языков.
- Дообучение на основе перевода было сопоставимо или превосходящим в 53,3 процентах случаев во всех настройках.
- Прирост был наиболее частым в задачах Ответы на вопросы, Тегирование частей речи и Вывод из естественного языка.
- Снижение производительности было распространено в задачах Распознавание именованных сущностей и Обнаружение ненависти.
- Подход наиболее эффективен для задач, опирающихся на синтаксические паттерны, и языков, типологически близких к английскому, таких как голландский.
Результаты демонстрируют, что дообучение на основе перевода обеспечивает масштабируемый путь для расширения NLP на малоресурсные языки, одновременно продвигая лингвистическую инклюзивность.