本研究は、SemEval-2010 Task 8ベンチマークを翻訳し、エンコーダベースラインに対してGemma 4 31Bを評価することで、ルーマニア語の異言語関係抽出を検証する。結果、QLoRAファインチューニングによりマクロF1スコアが22パーセントポイント以上向上し、異言語ギャップは3.3から1.4ppに縮小された。

  • ルーマニア語はプロンプトのみ設定において英語と比較して3〜5ppの低下が生じる。
  • フューショットプロンプティングはゼロショットに対してわずかな改善しかもたらさない。
  • エンコーダベースラインはQLoRA Gemmaよりも50〜250倍小さいにもかかわらず、1〜4pp以内に迫っている。
  • 125Mパラメータの単一言語ルーマニア語BERTは、278Mのパラメータを持つ多言語XLM-Rと同等の性能を示す。

著者らは、計算リソースが重要なデプロイメントシナリオにおいて、ルーマニア語の単一タスクREに31Bモデルを使用することは非効率であると結論付けている。