Sebuah studi terhadap 17 model dari tiga keluarga menunjukkan bahwa model bahasa yang telah diselaraskan sering kali secara sementara berkomitmen pada jawaban yang salah di lapisan tengah (kedalaman 25-90%) sebelum dikoreksi oleh mekanisme di lapisan akhir. "Lembah kesalahan" ini dikonfirmasi secara kausal melalui transplantasi aktivasi dan bervariasi secara signifikan berdasarkan resep penyelarasan dan skala model.
- Amplifikasi lembah kesalahan kausal bersifat spesifik terhadap resep, mencapai puncak pada Qwen2.5 berukuran 32B dan berbalik pada Llama-3-8B.
- Item dengan lembah tinggi memiliki kemungkinan 3-7 kali lebih besar untuk gagal di bawah kompresi rank-rendah lapisan akhir atau pemangkasan, sementara tetap robust terhadap kuantisasi.
- Penalaan halus LoRA dengan penalti margin kesalahan lapisan tengah mengurangi lembah kausal sebesar 67-70% tanpa mengorbankan akurasi.
- SFT hanya pada output memperburuk lembah kausal hingga 2,8 kali lipat bahkan pada akurasi permukaan yang sempurna.
- Fenomena ini bertahan dalam I/O bahasa alami, memisahkan kerentanan menjadi lapisan penyelamatan akhir yang dapat diaudit berdasarkan lembah dan lapisan antarmuka yang buta terhadap lembah.
Para penulis menyimpulkan bahwa kebenaran tingkat output dapat menyembunyikan proses penyelamatan akhir yang mengatur risiko kompresi, kualitas pasca-pelatihan, dan distorsi evaluasi.