Um estudo de caso avaliando backbones de embedding congelados como Qwen3-Embedding, RoBERTa-base e FinBERT revela que o benefício da adaptação explícita de domínio varia significativamente com base no conhecimento prévio do modelo. A pesquisa treinou adaptadores MLP leves usando Redes Neurais Adversariais de Domínio (DANN), Discrepância de Média Quadrática (MMD) e Aprendizado Contrastivo Supervisionado (SCL) para transferir análise de sentimento de avaliações de consumidores para avaliações de filmes (SST-2) e notícias financeiras.
- No conjunto de dados SST-2, a adaptação de domínio proporcionou ganhos de desempenho insignificantes, independentemente da escala do backbone.
- Para um subconjunto restrito de notícias financeiras, a adaptação explícita de domínio recuperou desempenho substancial para backbones gerais de pequeno porte.
- O alinhamento adversarial via DANN degradou o desempenho para backbones especializados em domínio como FinBERT, ao corroer a estrutura específica do domínio pré-existente.
- Verificou-se que a perda contrastiva supervisionada preserva melhor a estrutura específica do domínio em modelos especializados do que os métodos adversariais.
Os achados sugerem que a adaptação explícita de domínio é eficaz apenas quando o backbone congelado não possui cobertura suficiente do domínio-alvo, e que métodos de alinhamento inadequados podem prejudicar o desempenho em modelos já especializados.