ある研究は、既存の BERT モデルをファインチューニングするために非英語データを英語に翻訳することの実用性を評価し、ネイティブ言語モデルを開発するリソース効率的な代替手段を提供しています。この研究は、ブルガリア語、中国語、オランダ語、イタリア語、ロシア語のデータセットを用いて、6つの NLP タスクにおけるネイティブ言語のパフォーマンスと比較しています。

  • 翻訳ベースのファインチューニングは、すべての設定において53.3%のケースで同等またはそれ以上の性能を示しました。
  • 改善は、質問応答、品詞タグ付け、自然言語推論で最も頻繁に見られました。
  • 性能の低下は、固有表現認識とヘイトスピーチ検出で一般的でした。
  • このアプローチは、構文パターンに依存するタスクや、オランダ語のように英語に類型学的に近い言語に対して最も効果的です。

これらの結果は、翻訳ベースのファインチューニングが、低資源言語への NLP の拡張と言語的包摂性の向上において、スケーラブルな道筋を提供することを示しています。