يقدم الباحثون LACUNA، وهو أول منصة اختبار للنسيان تتميز بتحديد الموقع على مستوى المعلمات كحقيقة أساسية (ground-truth) لتقييم ما إذا كان نسيان النموذج يحذف المعرفة حقًا أم يكتفي بإخفائها. تقوم المنصة بحقن معلومات تعريف شخصية اصطناعية في معلمات محددة مسبقًا من نماذج OLMo بحجم 1B و7B عبر التدريب المسبق المستمر المقنع.
- يتيح LACUNA التقييم المباشر مما إذا كانت طرق النسيان تستهدف الأوزان المحددة المسؤولة عن تخزين المعرفة.
- تكشف نتائج الاختبار المعياري أن أحدث الطرق غير دقيقة للغاية وعرضة لهجمات إعادة الظهور رغم أدائها القوي على مستوى المخرجات.
- توضح الدراسة أن التحديد الناجح للموقع يسمح حتى للطرق البسيطة القائمة على التدرج بتحقيق حذف قوي ومقاومة لإعادة الظهور.
يطلق المؤلفون LACUNA لتكميل التقييمات السلوكية ودفع مزيد من التقدم في النسيان القوي القائم على التحديد.