अध्ययन SemEval-2010 Task 8 बेंचमार्क का अनुवाद करके और एन्कोडर बेलाइनों के खिलाफ Gemma 4 31B का मूल्यांकन करके रोमानियाई के लिए क्रॉस-लिंगुअल रिलेशन एक्सट्रैक्शन की जांच करता है। परिणाम दिखाते हैं कि QLoRA फाइन-ट्यूनिंग मैक्रो F1-Score को 22 प्रतिशत अंक से अधिक बढ़ाता है, जिससे क्रॉस-लिंगुअल अंतर 3.3 से घटकर 1.4pp हो जाता है।
- केवल प्रॉम्प्ट सेटिंग्स में अंग्रेजी की तुलना में रोमानियाई में 3 से 5 pp की गिरावट आती है।
- फ्यू-शॉट प्रॉम्प्टिंग ज़ीरो-शॉट के सापेक्ष केवल नगण्य लाभ प्रदान करता है।
- एन्कोडर बेलाइनें QLoRA Gemma से केवल 1-4pp की दूरी पर हैं, भले ही वे 50-250 गुना छोटी हों।
- 125M पैरामीटर वाले एकभाषी रोमानियाई BERT, 278M वाले बहुभाषी XLM-R के बराबर है।
लेखकों का निष्कर्ष है कि रोमानियाई के लिए सिंगल-टास्क RE पर 31B मॉडल का उपयोग करना उन डिप्लॉयमेंट परिदृश्यों में कमजोर है जहां कंप्यूट महत्वपूर्ण होता है।