Peneliti mengusulkan LP-SFT, sebuah tujuan Supervised Fine-Tuning yang Pelestarian Lokal dirancang untuk melindungi struktur entropi multimodal bawaan dari model bahasa pra-pelatihan. Metode ini membangun dukungan adaptif dari token alternatif dan menerapkan kerugian pelestarian yang dinormalisasi secara lokal untuk mempertahankan struktur relatif sementara entropi silang standar mengoptimalkan token terawasi.
- Analisis mengungkapkan bahwa model pra-pelatihan menunjukkan struktur entropi multimodal yang teratur dengan puncak yang sesuai dengan alternatif yang masuk akal.
- LP-SFT secara eksplisit melindungi pengetahuan distribusi ini selama adaptasi, mencegah distorsi struktur preferensi lokal.
- Eksperimen menunjukkan bahwa LP-SFT meningkatkan kinerja keseluruhan dibandingkan SFT biasa dan baseline terbaru dalam pengaturan domain campuran dan domain tunggal.
- Pendekatan ini mencapai keseimbangan terbaik antara akurasi pass@1 dan kinerja pass@k dengan mengurangi degradasi kemampuan.
Metode ini membantu mempertahankan keberagaman yang dapat diakses melalui pengambilan sampel, mengatasi trade-off umum di mana penyetelan halus meningkatkan perilaku domain target dengan mengorbankan kemampuan yang sudah ada.