Sebuah studi mengevaluasi kelayakan menerjemahkan data non-Inggris ke dalam bahasa Inggris untuk menala ulang model BERT yang ada, menawarkan alternatif yang efisien sumber daya dibandingkan mengembangkan model bahasa asli. Penelitian ini membandingkan pendekatan ini terhadap kinerja bahasa asli di enam tugas NLP menggunakan dataset dari Bulgaria, Tiongkok, Belanda, Italia, dan Rusia.
- Penalaan halus berbasis terjemahan sebanding atau lebih unggul dalam 53,3 persen kasus di semua pengaturan.
- Peningkatan paling sering terjadi pada Jawaban Pertanyaan, Tagging Bagian-Ucapan, dan Inferensi Bahasa Alami.
- Penurunan kinerja umum terjadi pada Pengenalan Entitas Bernama dan Deteksi Ucapan Kebencian.
- Pendekatan ini paling efektif untuk tugas yang mengandalkan pola sintaksis dan bahasa yang secara tipologis dekat dengan bahasa Inggris, seperti bahasa Belanda.
Hasilnya menunjukkan bahwa penalaan halus berbasis terjemahan menyediakan jalur yang dapat diskalakan untuk memperluas NLP ke bahasa dengan sumber daya rendah sambil memajukan inklusivitas linguistik.