Le fine-tuning QLoRA de Gemma 4 31B comble l'écart d'extraction de relations interlinguales pour le roumain

L'étude examine l'extraction de relations interlinguales pour le roumain en traduisant le benchmark SemEval-2010 Task 8 et en évaluant Gemma 4 31B par rapport aux bases de référence à encodeur. Les résultats montrent que le fine-tuning QLoRA améliore le score F1 macro de plus de 22 points de pourcentage, réduisant l'écart interlingual de 3,3 à 1,4 pp.

• Le roumain subit une baisse de 3 à 5 pp par rapport à l'anglais dans les paramètres uniquement avec prompt.
• L'utilisation de few-shot prompting offre des gains marginaux par rapport au zero-shot.
• Les bases de référence à encodeur se rapprochent à 1-4 pp de QLoRA Gemma bien qu'elles soient 50 à 250 fois plus petites.
• Le BERT monolingue roumain à 125M paramètres égale le XLM-R multilingue à 278M.

Les auteurs concluent que l'utilisation d'un modèle de 31B pour la RE mono-tâche sur le roumain est faible dans les scénarios de déploiement où le calcul est important.