Sebuah studi mengusulkan kerangka audit kausal untuk mengevaluasi penghapusan faktual dalam Limited Memory Language Models (LMLMs), yang mengeksternalisasi pengetahuan ke basis data untuk pembelajaran ulang. Kerangka kerja ini mengisolasi kebocoran parametrik dari kebenaran yang dimediasi pengambilan dan artefak dengan mengubah status basis data saat inferensi.

  • Para penulis menguji 12.228 penghapusan penutupan alias di seluruh tiga belas basis data dengan empat topologi adversarial dan enam formulasi prompt.
  • Kebocoran parametrik ditemukan mendekati nol, yang berarti model jarang mengembalikan jawaban yang dihapus tanpa pengambilan.
  • Pengetahuan residu bertahan terutama melalui pengambilan tetangga dekat, dengan tingkat berkisar dari 0,7% hingga 13,6% tergantung pada topologi basis data.
  • Formulasi prompt tidak secara independen mengendalikan kelangsungan fakta yang dihapus.

Hasilnya menunjukkan bahwa untuk kelas LMLM ini, efektivitas pembelajaran ulang ditentukan oleh manajemen grafik pengambilan oleh administrator basis data daripada parameter internal model.