يقدم الباحثون LACUNA، وهي أول منصة اختبار للنسيان تتميز بتموضع على مستوى المعلمات مع معايير حقيقية (ground-truth) لمعالجة الفجوة في تقييم ما إذا كان النسيان يحذف المعرفة حقًا من معلمات النموذج. تقوم المنصة بحقن البيانات الشخصية القابلة للتعريف (PII) لأفراد اصطناعيين في معلمات محددة مسبقًا لنماذج قائمة على OLMo بحجم 1B و7B عبر التدريب المسبق المستمر المقنع.
- يتيح LACUNA التقييم المباشر مما إذا كان النسيان يستهدف الأوزان المسؤولة عن تخزين المعرفة.
- يكشف التقييم المعياري أن الطرق الحالية الأكثر تقدمًا (SOTA) غير دقيقة للغاية على الرغم من أدائها القوي على مستوى المخرجات.
- تظل الطرق الموجودة عرضة لهجمات إعادة الظهور حتى عندما تبدو فعالة على مستوى المخرجات.
- يسمح التموضع الناجح للنسيان القائم على التدرج البسيط بتحقيق حذف قوي ومتانة.
ينشر المؤلفون LACUNA لتكملة التقييمات السلوكية ودفع مزيد من التقدم في النسيان القوي والمعتمد على التموضع.