قدم الباحثون LACUNA، أول منصة اختبار للنسيان تتميز بتحديد موقع دقيق على مستوى المعلمات (ground-truth) لمعالجة قيود المقاييس الحالية التي تقيم النسيان فقط على مستوى المخرجات. تقوم المنصة بحقن معلومات تعريف شخصية اصطناعية في معلمات محددة مسبقاً لنماذج OLMo بحجم 1B و7B عبر التدريب المسبق المستمر المقنع، مما يتيح التقييم المباشر لما إذا كانت طرق النسيان تستهدف الأوزان المحددة المسؤولة عن تخزين المعرفة.
- تتيح LACUNA تقييم دقة التحديد الموضعي باستخدام أفراد اصطناعيين تم حقنهم في معلمات نموذج OLMo.
- تكشف المقاييس أن الطرق الحديثة غير دقيقة للغاية وحساسة لهجمات الظهور مرة أخرى على الرغم من أدائها القوي على مستوى المخرجات.
- توضح الدراسة أن التحديد الناجح يسمح حتى لطرق النسيان البسيطة القائمة على التدرج بتحقيق محو قوي ومتانة.
أصدر المؤلفون LACUNA لتكملة التقييمات السلوكية ودفع مزيد من التقدم في النسيان القائم على التحديد الموضعي والمتين.