Тонкая настройка QLoRA модели Gemma 4 31B устраняет разрыв в кроссоязычном извлечении отношений для румынского языка

Исследование изучает кроссоязычное извлечение отношений для румынского языка путем перевода бенчмарка SemEval-2010 Task 8 и оценки Gemma 4 31B по сравнению с базовыми моделями на основе энкодера. Результаты показывают, что тонкая настройка QLoRA улучшает макро F1-Score более чем на 22 процентных пункта, сокращая кроссоязычный разрыв с 3.3 до 1.4pp.

• Для румынского языка наблюдается падение на 3–5 pp по сравнению с английским в настройках только с промптом.
• Few-shot prompting дает лишь незначительные улучшения по сравнению с zero-shot.
• Базовые модели на основе энкодера приближаются к QLoRA Gemma всего на 1–4pp, несмотря на то, что они в 50–250 раз меньше.
• Моноязычная румынская BERT с 125M параметров сопоставима с многоязычной XLM-R с 278M параметров.

Авторы приходят к выводу, что использование модели на 31B для однозадачного RE на румынском языке является слабым решением в сценариях развертывания, где важна вычислительная мощность.