Une étude évalue la faisabilité de traduire des données non anglaises en anglais pour affiner les modèles BERT existants, offrant une alternative efficace en ressources au développement de modèles natifs. La recherche compare cette approche aux performances en langue native sur six tâches NLP à l'aide de jeux de données issus du bulgare, du chinois, du néerlandais, de l'italien et du russe.
- Le fine-tuning basé sur la traduction était comparable ou supérieur dans 53,3 % des cas dans tous les paramètres.
- Les gains étaient plus fréquents dans la réponse aux questions, l'étiquetage morphosyntaxique et l'inférence en langage naturel.
- Les baisses de performance étaient courantes dans la reconnaissance d'entités nommées et la détection de discours haineux.
- L'approche est la plus efficace pour les tâches reposant sur des motifs syntaxiques et les langues typologiquement proches de l'anglais, comme le néerlandais.
Les résultats démontrent que le fine-tuning basé sur la traduction offre une voie évolutive pour étendre le NLP aux langues peu dotées tout en favorisant l'inclusivité linguistique.