Un estudio de caso que evalúa esqueletos de incrustación congelados como Qwen3-Embedding, RoBERTa-base y FinBERT revela que el beneficio de la adaptación explícita de dominio varía significativamente según el conocimiento previo del modelo. La investigación entrenó adaptadores MLP ligeros utilizando Redes Neuronales Adversarias de Dominio (DANN), Discrepancia de Media Máxima (MMD) y Aprendizaje Contrastivo Supervisado (SCL) para transferir el análisis de sentimientos de reseñas de consumidores a reseñas de películas (SST-2) y noticias financieras.
- En el conjunto de datos SST-2, la adaptación de dominio proporcionó ganancias de rendimiento insignificantes independientemente del tamaño del esqueleto.
- Para un subconjunto restringido de noticias financieras, la adaptación explícita de dominio recuperó un rendimiento sustancial para esqueletos generales pequeños.
- El alineamiento adversarial mediante DANN degradó el rendimiento para esqueletos especializados en el dominio como FinBERT al erosionar la estructura específica del dominio preexistente.
- Se encontró que la pérdida contrastiva supervisada preservaba mejor la estructura específica del dominio en modelos especializados que los métodos adversarios.
Los hallazgos sugieren que la adaptación explícita de dominio solo es efectiva cuando el esqueleto congelado carece de cobertura suficiente del dominio objetivo, y que los métodos de alineamiento inadecuados pueden perjudicar el rendimiento en modelos ya especializados.