DeltaMerge-LowResは、個別に学習した言語デルタとタスクデルタを重み空間で再結合することで、多言語エンコーダを新しい言語やタスクに適応させます。この手法は、ラベルなし単一言語テキストから言語デルタを、ラベル付き英語データからタスクデルタを学習し、新規のクロス軸TIESアプローチを含む4つのルールでこれらを組み合わせます。

  • クロス軸TIESは、タスクのみベースラインと比較して、4つのアフリカ言語のうち3つで要約chrFを+4〜+7向上させます。
  • 評価されたセル全体でQA F1が+2.32、EMが+2.91増加します。
  • 疎性対応マージは分類ECEを36%削減しつつ、マクロ-F1の同等性を維持します。

組み合わせルールは、マージされたモデルが何を保持し、抑制し、較正するかを本質的に変化させます。すべてのJSONトレースと主張台帳が公開されています。