Sebuah studi baru-baru ini menyelidiki robustness dari Emergent Misalignment (EM), sebuah fenomena di mana model bahasa memperoleh perilaku yang secara luas tidak selaras setelah fine-tuning pada dataset yang sempit dan spesifik domain. Para penulis menganalisis secara sistematis siklus alignment dan misalignment berulang menggunakan loop fine-tuning terkontrol sambil melacak kinerja perilaku dan representasi LoRA.
- Baik misalignment maupun realignment ditemukan sangat sensitif terhadap karakteristik dataset yang superfisial.
- Realignment cepat yang tampak sebagian besar menghilang ketika mengontrol perbedaan panjang respons.
- Tanda mekanistik, seperti transisi fase representasional dalam ruang LoRA, tidak secara konsisten berkorelasi dengan misalignment perilaku selama pelatihan.
Hasil-hasil tersebut menunjukkan bahwa bukti saat ini untuk EM kurang robust daripada yang sebelumnya diklaim dan menyoroti perlunya protokol evaluasi yang secara hati-hati mengontrol artefak dataset tingkat permukaan.