Para peneliti mengusulkan HyperSafe, sebuah kerangka kerja yang memulihkan perilaku aman pada model bahasa besar yang telah di-fine-tune dengan menghasilkan Safe Side Network (SSN) khusus model selama inferensi. Metode ini menggunakan sidik jari aktivasi per-lapis dan prompt kalibrasi untuk memetakan representasi ke parameter SSN tanpa memodifikasi bobot model asli.
- HyperSafe menghasilkan SSN untuk setiap checkpoint yang telah di-fine-tune menggunakan satu kali forward pass atas sidik jari aktivasi.
- SSN melakukan klasifikasi keamanan tingkat prompt, mengalihkan input berbahaya ke penolakan sambil memungkinkan prompt aman melewati model yang dibekukan.
- Dievaluasi pada Qwen2-7B dan LLaMA-3-8B, metode ini mengurangi tingkat respons berbahaya dari 19-31% menjadi di bawah 1% di seluruh checkpoint yang disimpan.
- Akurasi tugas turunan tetap berada dalam batas 1% dari baseline fine-tuned secara rata-rata.
Pendekatan ini menyediakan metode pemulihan keamanan pasca-hoc yang non-invasif dan tidak memerlukan pembaruan gradien atau data keamanan tambahan saat waktu penyebaran.