Qwen3-Embedding、RoBERTa-base、FinBERTなどの凍結埋め込みバックボーンを評価するケーススタディにより、明示的なドメイン適応の利点はモデルの事前知識に基づいて大きく異なることが示された。研究では、センチメント分析を消費者レビューから映画レビュー（SST-2）および金融ニュースへ転送するために、ドメイン敵対的ニューラルネットワーク（DANN）、最大平均不一致（MMD）、教師ありコントラスティブリ学習（SCL）を使用して軽量MLPアダプターを訓練した。

  • SST-2データセットでは、バックボーンの規模にかかわらず、ドメイン適応はほとんど性能向上をもたらさなかった。
  • 制限された金融ニュースのサブセットでは、明示的なドメイン適応が小規模な汎用バックボーンで大幅な性能回復をもたらした。
  • DANNによる敵対的アライメントは、既存のドメイン固有構造を侵食することで、FinBERTのようなドメイン特化型バックボーンの性能を低下させた。
  • 教師ありコントラスティブリ損失は、敵対的手法よりも専門モデルにおけるドメイン固有構造をよりよく維持することがわかった。

これらの知見は、明示的なドメイン適応が凍結バックボーンに十分なターゲットドメインカバレッジがない場合にのみ有効であり、不適切なアライメント手法はすでに特化されたモデルの性能を損なう可能性があることを示唆している。