Кейс-исследование, оценивающее замороженные встраивающие остовы, такие как Qwen3-Embedding, RoBERTa-base и FinBERT, выявило, что польза явной доменной адаптации существенно варьируется в зависимости от предварительных знаний модели. Исследователи обучали лёгкие MLP-адаптеры с использованием Доменно-адверсариальных нейронных сетей (DANN), Максимального расхождения средних (MMD) и Обучаемого контрастного обучения (SCL) для переноса анализа тональности с потребительских отзывов на кинокритики (SST-2) и финансовые новости.

  • На наборе данных SST-2 доменная адаптация обеспечила пренебрежимо малый прирост производительности независимо от масштаба остова.
  • Для ограниченного поднабора финансовых новостей явная доменная адаптация восстановила существенную производительность для небольших универсальных остовов.
  • Адверсариальное выравнивание через DANN ухудшило производительность для доменно-специализированных остовов, таких как FinBERT, за счёт разрушения имеющейся доменно-специфичной структуры.
  • Было обнаружено, что обучаемая контрастная потеря лучше сохраняет доменно-специфичную структуру в специализированных моделях по сравнению с адверсариальными методами.

Выводы указывают на то, что явная доменная адаптация эффективна лишь тогда, когда замороженный остов не обладает достаточным покрытием целевой области, а неподходящие методы выравнивания могут навредить производительности уже специализированных моделей.