Studi tulang punggung beku menemukan bahwa efektivitas adaptasi domain bergantung pada pengetahuan domain target yang sudah ada

Sebuah studi kasus yang mengevaluasi tulang punggung embedding beku seperti Qwen3-Embedding, RoBERTa-base, dan FinBERT mengungkapkan bahwa manfaat adaptasi domain eksplisit bervariasi secara signifikan berdasarkan pengetahuan awal model. Penelitian melatih adaptor MLP ringan menggunakan Domain-Adversarial Neural Networks (DANN), Maximum Mean Discrepancy (MMD), dan Supervised Contrastive Learning (SCL) untuk mentransfer analisis sentimen dari ulasan konsumen ke ulasan film (SST-2) dan berita keuangan.

• Pada dataset SST-2, adaptasi domain memberikan peningkatan kinerja yang dapat diabaikan terlepas dari skala tulang punggung.
• Untuk subset terbatas berita keuangan, adaptasi domain eksplisit memulihkan kinerja substansial untuk tulang punggung umum berukuran kecil.
• Penyesuaian adversarial melalui DANN menurunkan kinerja untuk tulang punggung khusus domain seperti FinBERT dengan mengikis struktur spesifik domain yang sudah ada sebelumnya.
• Kerugian kontrasif terawasi ditemukan mempertahankan struktur spesifik domain dalam model khusus lebih baik daripada metode adversarial.

Temuan ini menunjukkan bahwa adaptasi domain eksplisit hanya efektif ketika tulang punggung beku tidak memiliki cakupan domain target yang cukup, dan metode penyesuaian yang tidak tepat dapat merusak kinerja pada model yang sudah terspesialisasi.