一项研究评估了将非英语数据翻译成英语以微调现有 BERT 模型的可行性，为开发原生语言模型提供了一种节省资源的替代方案。该研究使用来自保加利亚语、中文、荷兰语、意大利语和俄语的数据集，在六项 NLP 任务中将此方法与原生语言性能进行了比较。

  • 在所有设置中，基于翻译的微调在 53.3% 的情况下表现相当或更优。
  • 增益最常出现在问答、词性标注和自然语言推理中。
  • 命名实体识别和仇恨言论检测中的性能下降很常见。
  • 该方法对于依赖句法模式且类型学上接近英语的语言（如荷兰语）最有效。

结果表明，基于翻译的微调为将 NLP 扩展到低资源语言提供了可扩展的路径，同时推动了语言包容性。