Une étude sur les backbones gelés révèle que l'efficacité de l'adaptation au domaine dépend des connaissances préalables du domaine cible

Une étude de cas évaluant des backbones d'embedding gelés tels que Qwen3-Embedding, RoBERTa-base et FinBERT révèle que l'avantage de l'adaptation explicite au domaine varie considérablement en fonction des connaissances antérieures du modèle. La recherche a entraîné des adaptateurs MLP légers à l'aide de Domain-Adversarial Neural Networks (DANN), Maximum Mean Discrepancy (MMD) et Supervised Contrastive Learning (SCL) pour transférer l'analyse de sentiment des avis consommateurs aux critiques de films (SST-2) et aux actualités financières.

• Sur le jeu de données SST-2, l'adaptation au domaine a fourni des gains de performance négligeables indépendamment de l'échelle du backbone.
• Pour un sous-ensemble restreint d'actualités financières, l'adaptation explicite au domaine a permis de récupérer des performances substantielles pour les backbones généralistes de petite taille.
• L'alignement adversarial via DANN a dégradé les performances des backbones spécialisés par domaine comme FinBERT en érodant la structure spécifique au domaine pré-existante.
• Il a été constaté que la perte contrastive supervisée préservait mieux la structure spécifique au domaine dans les modèles spécialisés que les méthodes adversariales.

Ces résultats suggèrent que l'adaptation explicite au domaine n'est efficace que lorsque le backbone gelé manque d'une couverture suffisante du domaine cible, et que des méthodes d'alignement inappropriées peuvent nuire aux performances des modèles déjà spécialisés.