Fine-tuning QLoRA pada Gemma 4 31B menutupi kesenjangan ekstraksi relasi lintas-bahasa untuk bahasa Rumania

Studi ini menyelidiki ekstraksi relasi lintas-bahasa untuk bahasa Rumania dengan menerjemahkan benchmark SemEval-2010 Task 8 dan mengevaluasi Gemma 4 31B terhadap baseline encoder. Hasil menunjukkan bahwa fine-tuning QLoRA meningkatkan Skor F1 makro sebesar lebih dari 22 poin persentase, mengurangi kesenjangan lintas-bahasa dari 3,3 menjadi 1,4 pp.

• Bahasa Rumania mengalami penurunan 3 hingga 5 pp relatif terhadap bahasa Inggris dalam pengaturan hanya-prompt.
• Few-shot prompting memberikan peningkatan yang hanya marginal dibandingkan zero-shot.
• Baseline encoder berada dalam jarak 1-4 pp dari QLoRA Gemma meskipun ukurannya 50-250 kali lebih kecil.
• BERT monolingual Rumania dengan 125M parameter setara dengan XLM-R multibahasa dengan 278M.

Para penulis menyimpulkan bahwa menggunakan model 31B untuk RE tugas tunggal pada bahasa Rumania kurang efektif dalam skenario deployment di mana komputasi menjadi pertimbangan.