Gemma 4 31B 的 QLoRA 微调缩小了罗马尼亚语跨语言关系抽取的差距

该研究通过翻译 SemEval-2010 Task 8 基准并评估 Gemma 4 31B 与编码器基线的对比，调查了罗马尼亚语的跨语言关系抽取。结果表明，QLoRA 微调使宏观 F1-Score 提高了超过 22 个百分点，将跨语言差距从 3.3 缩小到 1.4pp。

• 在仅使用提示的设置中，罗马尼亚语相比英语下降了 3 到 5 pp。
• Few-shot prompting 相比 zero-shot 仅提供边际收益。
• 尽管编码器基线模型小 50-250 倍，但它们与 QLoRA Gemma 的差距仅为 1-4pp。
• 拥有 125M 参数的单语罗马尼亚语 BERT 与拥有 278M 参数的多语言 XLM-R 相当。

作者得出结论，在计算资源重要的部署场景中，使用 31B 模型进行罗马尼亚语的单一任务关系抽取表现较弱。