고정 백본 연구는 도메인 적응 효율성이 기존 타겟 도메인 지식에 의존함을 발견

Qwen3-Embedding, RoBERTa-base, FinBERT와 같은 고정 임베딩 백본을 평가한 사례 연구는 명시적 도메인 적응의 이점이 모델의 사전 지식에 따라 크게 달라진다는 것을 드러냈다. 연구는 소비자 리뷰에서 영화 리뷰(SST-2) 및 금융 뉴스로 감정 분석을 이전하기 위해 Domain-Adversarial Neural Networks (DANN), Maximum Mean Discrepancy (MMD), Supervised Contrastive Learning (SCL)를 사용하여 경량 MLP 어댑터를 훈련했다.

• SST-2 데이터셋에서 도메인 적응은 백본의 규모와 무관하게 미미한 성능 향상만 제공했다.
• 제한된 금융 뉴스 하위 집합에서는 명시적 도메인 적응이 작은 범용 백본에 상당한 성능 회복을 가져왔다.
• DANN을 통한 적대적 정렬은 기존 도메인 고유 구조를 침식하여 FinBERT와 같은 도메인 특화 백본의 성능을 저하시켰다.
• 지도 대비 손실은 적대적 방법보다 전문 모델에서 도메인 고유 구조를 더 잘 보존하는 것으로 나타났다.

이 결과는 명시적 도메인 적응이 고정 백본에 충분한 타겟 도메인 커버리지가 없을 때만 효과적이며, 부적절한 정렬 방법은 이미 특화된 모델의 성능을 해칠 수 있음을 시사한다.