Para peneliti telah memperkenalkan LACUNA, testbed penghapusan pengetahuan pertama yang memiliki lokalisasi tingkat parameter ground-truth untuk mengatasi keterbatasan benchmark yang ada yang hanya mengevaluasi penghapusan pengetahuan pada tingkat output. Testbed ini menyuntikkan informasi identifikasi pribadi sintetis ke dalam parameter yang telah ditentukan dari model berbasis OLMo berukuran 1B dan 7B melalui pra-pelatihan berkelanjutan dengan masking, memungkinkan penilaian langsung apakah metode penghapusan pengetahuan menargetkan bobot spesifik yang bertanggung jawab atas penyimpanan pengetahuan.
- LACUNA memungkinkan evaluasi presisi lokalisasi dengan menggunakan individu sintetis yang disuntikkan ke dalam parameter model OLMo.
- Benchmarking mengungkapkan bahwa metode state-of-the-art sangat tidak tepat dan rentan terhadap serangan muncul kembali meskipun memiliki kinerja tingkat output yang kuat.
- Studi ini menunjukkan bahwa lokalisasi yang sukses memungkinkan bahkan metode penghapusan pengetahuan berbasis gradien sederhana untuk mencapai penghapusan yang kuat dan ketahanan.
Para penulis merilis LACUNA untuk melengkapi evaluasi perilaku dan mendorong kemajuan lebih lanjut dalam penghapusan pengetahuan yang robust dan berbasis lokalisasi.