Para peneliti memperkenalkan LACUNA, testbed unlearning pertama yang menampilkan lokalisasi tingkat parameter ground-truth untuk mengevaluasi apakah unlearning model benar-benar menghapus pengetahuan atau hanya mengaburkannya. Testbed ini menyuntikkan informasi pengenal pribadi sintetis ke dalam parameter yang telah ditentukan sebelumnya dari model berbasis OLMo berukuran 1B dan 7B melalui pra-pelatihan berkelanjutan dengan masking.

  • LACUNA memungkinkan evaluasi langsung apakah metode unlearning menargetkan bobot spesifik yang bertanggung jawab atas penyimpanan pengetahuan.
  • Benchmarking mengungkapkan bahwa metode state-of-the-art sangat tidak presisi dan rentan terhadap serangan resurfacing meskipun memiliki kinerja tingkat output yang kuat.
  • Studi ini menunjukkan bahwa lokalisasi yang sukses memungkinkan bahkan metode berbasis gradien sederhana untuk mencapai penghapusan yang kuat dan ketahanan terhadap resurfacing.

Para penulis merilis LACUNA untuk melengkapi evaluasi perilaku dan mendorong kemajuan lebih lanjut dalam unlearning berbasis lokalisasi yang robust.